AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

銀天下交易信息欄優化

公司簡介

作為中國大宗商品現貨電子交易服務商,銀天下成立于2011年,核心業務是為客戶提供現貨投資服務,現擁有交易所交易通道、軟件系統、研究咨詢、貴金屬現貨貿易及制品業務。目前,銀天下主要經營天津貴金屬交易所、廣東貴金屬交易中心的現貨白銀、鉑金、鈀金及上海黃金交易所黃金TD等現貨投資品種,以北上廣為業務發展核心,輻射全國市場。2014至2015年,經世界權威市場調查機構歐睿國際認證,銀天下為“中國線上大宗商品交易服務商現貨交易額排名第一”;2016年,公司強勢蟬聯世界品牌實驗室(WBL)“中國500最具價值品牌”,品牌價值50.18億元, 是現貨投資服務領導品牌。

 

案例背景

經過對現有數據的統計分析,產品部門發現某些頁面指標的點擊轉化率較低,希望可以通過 A/B測試 提升某些指標的曝光度,方便用戶查找和使用。因此,他們首先選取了交易板塊的240m指標,作為此次測試的試驗變量;設計了兩套不同的指標展示方案,分別為本次試驗的原始版本和試驗版本。試驗在安卓與iOS客戶端同時進行。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征,并在試驗過程中也可以隨時調整用戶流量,使企業可以在新版本上線之前,以最低成本觀察客戶對多個優化方案的數據反饋。同時,根據試驗的數據發現用戶反饋效果最好的版本,作為最終的新版本迭代方案。

e153-tm

產品部門將策劃的兩套頁面展示方案如下:

方案一:原始版本,240m指標頁面隱藏在更多選項里,用戶需點擊展開后,才能看到指標入口;

1

方案二:試驗版本,將240m指標選項直接顯示在信息欄內,用戶只需左右滑動即可找到。

2

同時設置“240m指標的點擊次數”為主要優化指標。

 

測試目標

此次試驗主要是希望可以通過對兩套240m指標展示方案的數據對比,驗證頁面點擊率的影響因素,從而提升該指標的頁面點擊率。

 

A/B測試數據反饋

本次試驗分別在iOS和安卓端進行,在試驗運行了兩周后(一般來說,為了獲得更加可信的數據結果,試驗運行周期應至少保證1-2個完整的自然周),產品部門得到了客觀科學的數據結論。

-經過去重統計,參與安卓試驗的獨立用戶有3w人(原始版本和試驗版本各1.5w);參與iOS試驗的獨立用戶有2w人(原始版本和試驗版本各1w);

-安卓的指標試驗結果為:新版本平均提升6%,95%置信區間為[-6.3%, +27.6%];

-iOS的指標試驗結果為:新版本平均提升11.4%,95%置信區間為[-9.4%, +32.2%];

-對于安卓與iOS客戶端,新版本均有平均提升,雖然95%的置信水平下統計不顯著,但明顯的,置信區間體現出正向的傾向,在較低的置信水平下,如70%,會達到統計顯著。因此可以做出試驗版本較好的判斷;

-試驗結果說明,240m指標的呈現形式對用戶使用該指標(指標的點擊率)起到了一定的促進作用,但置信區間表明還有其他重要因素影響用戶點擊,可以作為進一步探究方向。

5657 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 江苏快3官网 四川时时高手 三张牌下载 免费老时时票软件 查云南快乐十分走势图 易游电子游戏老虎机 四川时时视频直播 香港马会09开奖结果 香港网址22249手机开奖结果 32张扑克牌是什么