AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

小恩愛HTTPS功能試驗

公司簡介

小恩愛是2011年7月創建一款情侶應用產品,能夠從生活服務的各個角度滿足情侶的不同需求。秉持著“讓天下情侶更幸福”的原則,小恩愛為情侶提供了多種私密功能,情侶可通過產品免費發送只有彼此才能看到的短信、語音和圖片等,打造屬于情侶的最私密的二人世界。除此之外,小恩愛致力于為情侶提供全面的一站式服務,不斷完善對情侶生態場景產品的發展,包括情侶游戲、禮物電商、戀愛保險、情侶金融、周末旅行、情侶主題餐廳和酒店等等,讓情侶可以輕松享受豐富多彩的二人世界。截至2016年7月,小恩愛已成功收獲了8000萬精準用戶,月交易額達到3000萬元。

 

案例背景

小恩愛會不定期在應用內舉行一些活動,并通過H5頁面落地實施。幾次活動之后,產品部門收到不少用戶在活動頁面中看到莫名其妙廣告的反饋,嚴重影響了用戶體驗。通過技術排查定位后,產品技術部門發現出現無端廣告的原因:產品的網絡請求在HTTP協議下,活動相關的頁面數據易被篡改,被篡改的H5頁面被運營商劫持并植入廣告。

相較之下,HTTPS協議可以更有效的防止頁面數據被篡改。但考慮到網絡環境比較復雜,如果直接全量發布遵循HTTPS協議的產品,可能會引發全站的網絡錯誤問題。因此,產品技術部門決定采用吆喝科技提供的 A/B測試解決方案 ,驗證HTTPS協議的實際可行性。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現客戶反饋最好的版本,作為最終的新版本迭代方案。

本次試驗采用單變量A/B測試的方式,原始版本保持HTTP協議不變,將試驗版本調整為遵從HTTPS協議,其余產品元素沒有任何改動。同時,設定“網絡請求錯誤數”為本次試驗的關鍵優化指標。

 

測試目標

此次試驗的主要目的在于,觀察產品在更換網絡請求的協議后,是否能夠有效的防止頁面數據被篡改,以及是否會引發全站的網絡錯誤問題。最終根據關鍵優化指標情況,結合用戶的體驗反饋,選擇出綜合最佳的版本。

?

A/B測試數據反饋

本次試驗在安卓和iOS端分別運行,每個移動端對應兩個不同的版本,具體時間安排及流量配置如下:通過AppAdhoc A/B Testing的科學流量分割機制,此次試驗在運行了三個月之后(由于此次試驗內容屬于功能層面,為了避免功能上線前期的階段性數據差異,應適當延長試驗時間),得出了科學的試驗結論。

-通過后臺數據統計發現,HTTPS協議的錯誤請求數要明顯低于HTTP協議的請求數據;

-試驗期間,應用內舉辦過H5頁面活動,整體收到“看到廣告”的用戶反饋數量明顯減少。同時,沒有用戶反映出現新的網絡使用問題;

-可見,HTTPS協議確實能夠有效的避免網絡遭到劫持,并且沒有引發其他網絡問題。因此,產品部門決定發布HTTPS協議的試驗版本。

 

5535 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 正版四不像一肖中特图 德甲吻球 皇城黑龙江时时 历史开奖记录完整版j 201牛牛棋牌 下载 pk走势图技巧 生产进度app 体彩大乐透最新版下载 冠赢十三张苹果版线路1 广东时时11选五结果查询今天