AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

某知名門戶網站旗下電臺產品AA測試

公司簡介

作為某知名跨平臺網絡新媒體公司推出的一款手機音頻APP,該產品不僅擁有對應衛視傳媒集團的獨家優質音頻內容,同時購買了海量版權音頻,涵蓋新聞、財經、談話、娛樂、相聲、文史、親子、社會、生活等內容。此外,產品支持直播、點播、離線收聽等多種方式,可以在iPhone、Android平臺上播放。

 

案例背景

為了測試AppAdhoc A/B Testing平臺的穩定及數據準確性,產品部門對A/B測試有了解,但未曾使用過A/B測試,想過建立一個特殊的 A/B測試 (A/B版本中試驗版本的內容完全一致),進而達到測試A/B測試系統或平臺的穩定性。他們使用了AA測試去驗證,并且將同一個需要測試的頁面作為兩個版本,用來測試兩個版本反映出的數據是否相似。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現客戶反饋最好的版本,作為最終的新版本迭代方案。

產品部門將需要測試的頁面集成到AppAdhoc A/B Testing中,生成了包含1個試驗版本和1個原始版本(兩個版本頁面完全相同)。

a91c-tm

 

 

測試目標

此次試驗主要關注兩個版本的數據統計是否相似,從而驗證AppAdhoc A/B Testing平臺的穩定性及數據準確性。

 

A/A測試數據反饋

此次的 A/B 測試放置在小渠道發布,通過AppAdhoc A/B Testing產品的科學流量分割機制,隨機向 2個方案各分配 相同的流量,試驗持續了14天(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周),隨后,各個試驗的數據反饋使產品部門立即得到了他們想要的答案。

%e5%87%a4%e5%87%b0fmaa%e6%95%b0%e6%8d%ae%e6%8a%98%e7%ba%bf

%e5%87%a4%e5%87%b0fmaa%e6%95%b0%e6%8d%ae%e5%8c%ba%e9%97%b4

-兩個版本的流量基本一致,同時按鈕點擊率上報的數據基本相同;

-兩個版本的置信區間(95%)都不收斂,說明兩個版本沒有明顯的優劣差別;

-該試驗結果驗證了AppAdhoc A/B Testing平臺的穩定性及數據準確性。

 

特別說明:由于該公司相關隱私保護要求,本案例暫不公開該公司或產品的具體名稱。

6018 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 上海时时信息 江西体彩十一选五走势 云南快乐十分拖胆投注表 黑龙江11选5开奖号码 组六杀号口诀 时时乐最简单规律 香江特码救世 快乐十分天津玩法 乐彩33官网下载 2012广东快乐十分平台