AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

某知名保險企業旗下證券公司登錄系統灰度發布

公司簡介

作為某知名保險企業旗下重要成員,該公司于1995年10月經中國人民銀行批準正式成立,注冊地為北京,公司總部設在深圳。憑借母公司的雄厚資金、品牌和客戶優勢,秉承”穩中思變,務實創新”的經營理念,該公司建立了非常完善的合規和風險控制體系,各項業務均保持著強勁的增長態勢,目前已經成長為國內主流券商之一。2006年,經中國證券業協會評審通過,該公司成為“創新類”券商之一。在“2007世界金融實驗室年度大獎”評選中,該公司榮獲“中國最值得信賴的十大證券公司”稱號。

 

案例背景

為了簡化登錄流程,進一步優化用戶操作,產品部門即將上線新功能,即用戶輸入賬號后,系統自動選擇交易類型登錄。但考慮到全量上線可能會給后臺服務器造成過大壓力,導致用戶體驗受到不良影響,產品部門決定采用 灰度發布 的形式發布新功能。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征。同時,平臺還支持灰度發布的功能,企業可在試驗過程中隨時調整用戶流量,在版本穩定無bug的前提下,逐步擴大新版的使用群體,完成產品新功能發布的平穩過渡。

%e5%b9%b3%e5%ae%89%e7%99%bb%e5%bd%95%e4%ba%a4%e6%98%93%e7%b1%bb%e5%9e%8b%e7%81%b0%e5%ba%a6%e5%8f%91%e5%b8%83%e5%af%b9%e6%af%94

本次試驗采用灰度發布的方式,分批導入用戶流量,初始分配流量5%,在保證新功能使用流暢無bug的前提下,逐步按照10%、20%、50%調整流量,直至放量給全部用戶。定義主要優化指標為:次日留存率、周留存率。

 

測試目標

此次試驗主要用于測試新功能的用戶使用情況,檢驗新方案有無bug,并觀察主要指標。在保證用戶使用正常的前提下,判斷新功能是否對用戶體驗有積極影響,根據數據反饋逐步調整新功能的用戶流量,最終做出產品功能的上線決策。

?

A/B測試數據反饋

本次試驗在安卓和iOS端分別運行,每個移動端對應兩個不同的試驗版本。通過AppAdhoc A/B Testing的灰度發布功能,此次試驗在上線一個月左右之后,試驗數據結果趨于穩定,產品部門在分析過后得到了他們想要的答案。

-用戶對新功能的反響很好,從試驗數據來看,用戶的次日留存率和周留存率都一定提升;

-在試驗進行過程中,新功能未發現顯著bug,同時服務器壓力得到了有效緩解;

-產品部門根據數據反饋,發現新功能的上線給產品帶來了積極的數據改變,于是決定正式上線該功能。

 

特別說明:由于該公司相關隱私保護要求,本案例暫不公開該公司或產品的具體名稱。

12495 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 香港六合彩结果 一心想赢二连码是什么 澳洲幸运10网 下载浙江十一选五软件 竞彩足球比分分析推荐 和越南做什么生意好赚钱 吉林快三开奖直播app 生肖时时彩群 老k棋牌官网下载 江西多乐彩遗漏