AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

小恩愛HTTPDNS功能試驗

公司簡介

小恩愛是2011年7月創建一款情侶應用產品,能夠從生活服務的各個角度滿足情侶的不同需求。秉持著“讓天下情侶更幸福”的原則,小恩愛為情侶提供了多種私密功能,情侶可通過產品免費發送只有彼此才能看到的短信、語音和圖片等,打造屬于情侶的最私密的二人世界。除此之外,小恩愛致力于為情侶提供全面的一站式服務,不斷完善對情侶生態場景產品的發展,包括情侶游戲、禮物電商、戀愛保險、情侶金融、周末旅行、情侶主題餐廳和酒店等等,讓情侶可以輕松享受豐富多彩的二人世界。截至2016年7月,小恩愛已成功收獲了8000萬精準用戶,月交易額達到3000萬元。

 

案例背景

產品部門收到很多用戶反饋:在應用內進行部分操作時頻繁接收到“網絡不給力”的錯誤提示,這在很大程度上影響了用戶體驗。經過技術排查分析后,產品技術部門發現由于域名遭到劫持,部分用戶在使用過程中發出的請求無法到達產品服務器,造成了錯誤反饋。

為了解決這一問題,小恩愛技術部門建議將域名進一步處理,在本地把域名處理成IP。但考慮到網絡環境比較復雜,直接全量處理可能引發全站的網絡錯誤問題,這樣會帶來巨大的風險。因此,產品部門決定采用吆喝科技提供的 A/B測試 解決方案,用用戶數據反饋驗證通過HTTPDNS技術處理域名的實際可行性。

 

測試方案

AppAdhoc A/B Testing通過科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察用戶對優化方案的真實數據反饋。同時,根據試驗的數據發現用戶反饋效果最好的版本,作為最終的新版本迭代方案。

本次試驗采用單變量A/B測試的方式,原始版本保持原有域名方式不變,將試驗版本通過HTTPDNS技術處理域名,其余產品元素沒有任何改動。同時,設定“網絡請求錯誤數”為本次試驗的關鍵優化指標。

 

測試目標

此次試驗的主要目的是觀察經HTTPDNS技術能否有效解決用戶在應用內操作時的網絡問題,以及是否會導致全站的網絡錯誤;同時觀察實施這個技術對產品整體穩定性的影響。最終,根據關鍵優化指標結合用戶的體驗反饋,選擇出綜合最佳的版本。

?

A/B測試數據反饋

本次試驗在安卓和iOS端分別運行,每個移動端對應兩個不同的版本,具體時間安排及流量配置如下:通過AppAdhoc A/B Testing的科學流量分割機制,此次試驗在運行了三個月之后(由于此次試驗內容屬于功能層面,為了避免功能上線前期的階段性數據差異,適當延長了試驗時間),得出了科學的試驗結論。

-試驗運行一段時間之后,線下收到用戶反饋“網絡不給力”的數量明顯減少;

-但是試驗數據的統計結果顯示,試驗版本的網絡請求錯誤數略大于原始版本;

-盡管線下收到網絡不給力提示的反饋數量降低,但考慮到試驗結果以及這個功能對整體用戶體驗的重要影響,產品部門決定暫時不發布試驗版本;并繼續對HTTPDNS技術進行深層優化;

-產品部門將通過后續的試驗去進一步驗證這項功能的穩定性以及對整體用戶體驗的影響。

6250 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 新疆11选5开奖查询结果 江苏快三预测一定牛 河南快赢481开奖视频结果 三分彩计划软件下载 河北快3豹子遗漏 快乐12微信群 安徽11选5任务最大遗漏 北京pk10开户 排列3走势图综合走势 快乐10分中红号