AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

墨跡天氣菜單欄優化

公司簡介

墨跡天氣提供最專業、最穩定的天氣查詢服務,讓人們能夠知曉天氣變化,提前做好出行計劃,更智能的生活。墨跡天氣陸續在Android、iOS、Windows Phone手機平臺推出了國際版,支持196個國家70多萬個城市及地區的天氣查詢,分鐘級、公里級天氣預報,幫助用戶更好做出生活決策。2013年,首創時景天氣——實時天氣照片的眾包平臺。通過智能識別,根據照片信息自動進行天氣信息校正,實現了UGC輔助PGC,PGC指導UGC的良性循環。2014年,墨跡天氣將軟件延伸到硬件,首次發布空氣檢測智能硬件——空氣果,智能硬件讓空氣連接,不僅提供戶外的天氣信息還關心用戶室內空氣質量,室內和室外的結合,將人們的生活場景描述的更加完整化。墨跡天氣通過軟硬結合的方式,將業務由宏觀天氣擴展到微觀的個人家居環境,打造環形移動互聯網生活體驗。2016年,墨跡注冊用戶 過5億,提出并踐行“天氣+”,以氣象大數據為基礎,將天氣作為入口,提供給用戶更多生活化、場景化的服務。

 

案例背景

為了使產品得到更好的用戶體驗,產品部門希望新版本可以帶來欄目點擊率、轉化率以及用戶留存方面的提升。為此他們策劃了三套優化方案,用來驗證將 Feeds 入口放在端內哪個位置的效果更好,在決定新版本執行哪個優化方案之前,他們希望有具體、客觀的數據來了解不同方案對關鍵運營指標的影響,從而通過數據做出產品的關鍵決策。

 

測試方案

AppAdhoc A/B測試驅動產品采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋,從而根據試驗的數據發現客戶反饋最好的版本,作為最終的新版本迭代方案。

產品部門將幾套集成到 A/B測試 中,生成了3個包含新方案的版本和1個原始版本;

%e5%a2%a8%e8%bf%b9%e8%8f%9c%e5%8d%95%e6%a0%8f%e4%bc%98%e5%8c%96%e7%a4%ba%e6%84%8f%e5%9b%be

方案一:原始版本(首頁向下滾動底部有 Feeds、右上角有 feeds 入口),包括A/B/C/D所對應的欄目;功能結構如上圖展示。

方案二:相比原始版本,將首頁底部的 Feeds 版塊 (D) 去掉,在時景之間加入一

資訊欄目(E), 此版本包括A/B/C/E所對應的欄目。

方案三:相比正常版本,將首頁底部Feeds版塊 (D) 和首頁右上角的 Feeds版塊 (A) 移除,在時景之間加入一個資訊欄目 (E),此版本包括B/C/E所對應的欄目。

方案四:相比原始版本,將首頁下面的指數 (B) 位縮短,由之前的 N行變為一行,

去掉首頁底部 banner 廣告(C),此版本包括 A/B/D所對應的欄目,B欄目指數部分縮短。

 

測試目標

此次試驗主要關注在4套的優化方案中,APP主頁中各個欄目的點擊率的變化幅度以及這些改動對用戶留存的影響,選出數據最優、綜合反饋最好版本作為新版本的迭代方案。

 

A/B測試數據反饋

此次的 A/B 測試放置在小渠道發布,通過AppAdhoc A/B Testing產品的科學流量分割機制,隨機向 4 個方案各分配 25%的流量,試驗持續了兩周(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周),隨后,各個試驗的數據反饋使墨跡的產品部門立即得到了他們想要的答案。

-方案4最終勝出,相比其他版本,方案4中主要欄目的點擊率上漲了近10%,這對用戶量過億的墨跡天氣來說,是一個不小的提升;

從整體活躍以及留存角度來看,方案 2、3、4 相對于方案 1 都有所提高;

-從本次的試驗過程中,產品部門通過數據的反饋,也了解到即將首頁滑動到Feeds的路徑縮短的方案可以獲得更多的用戶點擊和頁面留存;

-試驗同樣監控了不同方案對于周邊相鄰位置欄目的數據影響,此次試驗數據反饋這些變化對其他欄目的影響非常小;雖然此次試驗的核心關注指標的并不涉及這些欄目,但是這些信息為產品部門在后續的優化工作提供了寶貴的數據參考。

6668 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 越南河内彩下载 陕西快乐十分推荐选号 广东时时彩骗局 cba什么时候开赛 新时时跟号玩法 云南快乐10分开奖走势图 平码论坛 新时时分析 飞香港 上海时时乐全天计划