AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

Max+論壇帖子算法優化

公司簡介

Max+ 定位為一個專業的第三方游戲服務平臺,目前專注于競技類游戲數據及周邊的服務,希望能夠帶給用戶更多關于游戲和電子競技的快樂。目前對于Dota2/英雄聯盟LOL/風暴英雄/暗黑3等電子競技游戲玩家,能夠為他們提供專業的玩家數據統計、實時更新的賽事資訊、覆蓋全面的游戲直播和視頻,方便快捷的好友交流和互動等一站式服務。

 

案例背景

長久以來,技術和運營部門對守望先鋒的論壇帖子排序存在較大爭論。技術部門開發了一套綜合的算法對帖子進行排序,運營部門認為單純按照時間排序是最好的選擇,直接把最新的帖子放在最上面。兩個部門對于排序方式一直爭執不下,這種情況正好適合用于 A/B測試 ,通過科學的計算方法給出最有力的解答。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現用戶反饋效果最好的版本,作為最終的新版本迭代方案。

本次試驗的具體方案如下:

max%e5%b8%96%e5%ad%90%e6%8e%92%e5%ba%8f%e5%9b%be%e7%89%87%e5%af%b9%e6%af%94

原始版本:用戶看到的是經過綜合算法排序后的帖子。

試驗版本:用戶將看到單純按照時間倒序排列的帖子,即最新的帖子放在最上面,其余頁面展示和邏輯保持不變。

同時,將論壇帖子的點擊數設置為優化指標。

 

測試目標

本次試驗的主要目標是,觀察不同的排序方案對帖子點擊量的影響,通過對比各個方案的試驗數據,選擇出最能夠促進點擊量的顯示方式。

 

A/B測試數據反饋

本次試驗在安卓環境下進行,在試驗運行了40天后(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周,功能類試驗應適當延長),產品部門得到了客觀科學的數據結論。

-試驗版本(按照時間倒序排列)的點擊量明顯高于用綜合算法排序的原始版本,具體數值高出20%左右;

結合產品的留存率考量,由于該論壇的次日留存率很高(60%以上),推斷用戶對于新帖子的熱情和接受度都會較高;

-試驗結果表明,按照時間倒序排列論壇帖子是目前最合適、效果最佳的排序方法。

9741 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 股票融资率多少算危险 十一运夺金基本走势图 通过百度如何赚钱吗 广西快乐10分玩法 腾讯三分彩官网查询 河南福彩网 ro手游连刺后期打什么赚钱6 湖北快三最新开奖结果 qq分分彩计划网页版 广东十一选五助手