AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

某知名網絡視頻企業旗下直播平臺AA測試

公司簡介

作為某知名網絡視頻企業旗下直播平臺,該企業成立于2013年8月,擁有熱播推薦、綜藝直播、廣場、排行榜、商城、論壇等功能。產品為用戶提供豐富精彩的真人視頻生活秀及優質綜藝直播內容,支持數十萬人同時在線收看,依托頂尖直播技術,實時傳遞高清畫質。在直播行業一片紅海的背景下,該公司率先推出“互動綜藝”概念,用差異化的直播產品卡位市場,將以藝人為核心的傳統綜藝節目,變成全民參與、深度互動的綜娛直播。產品定位為“中國第一互聯網大眾造星平臺”, 借助強內容的優質內核擴大用戶的選擇范圍,致力于成為中國最好玩兒的直播媒體。平臺幫助用戶從乏味無感的傳統直播中抽身,從而有機地擴散最好玩兒的直播內容,同時利用高互動的參與形式擺脫傳統直播模式所造成的窘境。

 

案例背景

為了測試AppAdhoc A/B Testing平臺的穩定及數據準確性,產品部門對A/B測試有過初期的了解,但沒有使用過 A/B測試 ,想過建立一個特殊的A/B測試(A/B版本中試驗版本的內容完全一致),進而達到測試A/B測試系統或平臺的穩定性。他們使用了AA測試去驗證,并且將同一個需要測試的頁面作為兩個版本,用來測試兩個版本反映出的數據是否相似。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現客戶反饋最好的版本,作為最終的新版本迭代方案。

產品部門將需要測試的頁面集成到AppAdhoc A/B Testing中,生成了包含1個試驗版本和1個原始版本(兩個版本完全一致)。

%e6%9d%a5%e7%96%afaa%e8%af%95%e9%aa%8c%e6%88%aa%e5%9b%be

 

測試目標

此次試驗主要關注兩個版本的數據統計是否相似,從而驗證AppAdhoc A/B Testing平臺的穩定性及數據準確性。

 

A/A測試數據反饋

此次的 A/B 測試放置在小渠道發布,通過AppAdhoc A/B Testing產品的科學流量分割機制,隨機向 2個方案各分配 相同的流量,試驗持續了10天(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周),隨后,各個試驗的數據反饋使產品部門立即得到了他們想要的答案。

%e6%9d%a5%e7%96%afaa%e6%95%b0%e6%8d%ae%e6%8a%98%e7%ba%bf%e6%9d%a5%e7%96%afaa%e6%95%b0%e6%8d%ae%e5%8c%ba%e9%97%b4

-兩個版本的流量基本一致,同時按鈕點擊率上報的數據基本相同;

-兩個版本的置信區間(95%)都不收斂,說明兩個版本沒有明顯的優劣差別;

-該試驗結果驗證了AppAdhoc A/B Testing平臺的穩定性及數據準確性。

?

特別說明:由于該公司相關隱私保護要求,本案例暫不公開該公司或產品的具體名稱。

6349 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 重庆快乐10分钟吧 全民欢乐斗地主 开外贸网店多久会赚钱 快乐赛车是什么意思 足球法甲直播 博定宝彩票群 福建快三带和值走势图 排列三走势图 北京时时彩在线开奖 黑龙江36选7开奖