AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

美識+主菜單界面樣式優化

公司簡介

美識+是京東打造的獨立零食購物平臺,主打“零食全球購”,提供包括北美、歐洲、東南亞、日韓等地的零食。此外,美識+還根據不同使用場景,推出了辦公室、追劇、男朋友等多種專題版塊,用戶可以直接通過客戶端購買零食,所購商品均有正品保障,由京東配送。目前,產品已經上線了200多個品牌,包括樂事、好時、不二家等國際品牌,以及三只松鼠、良品鋪子、周黑鴨等國內品牌。

?

案例背景

京東美識+作為京東旗下一款主推零食的移動應用,始終將用戶體驗作為核心發展目標。在前一陣子的用戶調研中,他們收到了一部分種子用戶的反饋,這部分用戶表示他們有時很容易混淆各個菜單所展示的內容;希望美識+可以把目前以圖標作為展示的主菜單加上文字說明,這樣可以讓他們能夠更清晰的了解對應菜單所展示的內容,從而更快地找到他們想要的產品。看到這些反饋后,產品團隊很是苦惱,因為將個性圖標作為主菜單按鈕當初是為了將美識+從大多數主菜單都是圖標+文字來做展示電商應用中區分開的;從而給用戶帶來與眾不同的效果。

盡管如此,用戶的心聲還是最重要的,產品部門為了可以盡快解決這批用戶反饋的問題,策劃出了一套添加了文字說明優化方案,并且將這個版本投放給部分用戶群體做測試,在測試持續一段時間后,他們卻發現這些參與測試的用戶對原始版本和優化后版本的接受程度褒貶不一;在這種情況下,產品部門處在了進退兩難的位置,他們非常擔心這個版本是否對全局用戶帶來負面影響,如果不能提前確認這個加入文字的版本可以得到整體用戶的認可,他們將無法執行發版,

產品部門希望在發版前,可以先通過對 APP數據分析 ,用具體、客觀的數據來了解整體用戶對于不同方案對的影響,幫助他們做出的產品決策。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現用戶反饋最好的版本,作為最終的新版本迭代方案。

產品部門將策劃的兩套優化方案集成到AppAdhoc A/B Testing中,生成了包含1個試驗版本和1個原始版本的A/B測試。

原始版本:主菜單圖標樣式為純圖片布局,即無文字說明。

試驗版本:相比原始版本,主菜單圖標下方添加了文字說明,其余頁面樣式保持不變。

%e7%89%88%e6%9c%ac%e5%af%b9%e6%af%94

 

測試目標

兩個版本只是文字說明上的差異,但對于之前從未使用A/B測試進行產品優化的美識+來說,通過這個簡單的場景將產品迭代與A/B測試相結合,可以使產品和研發團隊快速熟悉A/B測試架構;同時,產品在集成AppAdhoc SDK后的穩定性也可以通過這個試驗來驗證。

此次試驗中主要關注的指標:用戶在APP中對產品的評論和反饋、這兩個版本的留存情況,從而選出數據最優、綜合反饋最好版本作為新版本的迭代方案。

 

A/B測試數據反饋

通過AppAdhoc A/B Testing產品的科學流量分割機制,在最初他們向兩個版本分配了各5%的流量來看新版本的穩定情況,之后將2個方案的流量調整各至30%,運行了30天左右(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周),隨后,各個試驗的數據反饋使美識+的產品部門立即得到了他們想要的答案。

-通過對服務器日志監控的數據來看,集成SDK后的版本非常穩定,沒有出現崩潰等異常情況;

-線上以及線下收集的用戶反饋顯示用戶新版本的喜好程度還是大于原始版本;

-從整體活躍以及留存角度來看,新版本比老版本提升了3%左右;消除了新版本存本對用戶留存和活躍可能會有影響的疑慮;

-從本次的試驗過程中,菜單的點擊趨勢的變化僅作為參考,并不是主要關注對象。

5371 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 百运彩票游戏 吉林快3开奖网站 北京十一选五牛 意大利vs阿尔巴尼分析 足球比分直播吧 临武两码中特 北京时时彩开奖网站 西金娱乐棋牌游戏 福彩七乐彩走势图首页 美人捕鱼单机游戏