AppAdhoc A/B Testing客戶案例

用A/B測試持續提升產品

小恩愛JSPatch熱更新灰度發布

公司簡介

小恩愛是2011年7月創建一款情侶應用產品,能夠從生活服務的各個角度滿足情侶的不同需求。秉持著“讓天下情侶更幸福”的原則,小恩愛為情侶提供了多種私密功能,情侶可通過產品免費發送只有彼此才能看到的短信、語音和圖片等,打造屬于情侶的最私密的二人世界。除此之外,小恩愛致力于為情侶提供全面的一站式服務,不斷完善對情侶生態場景產品的發展,包括情侶游戲、禮物電商、戀愛保險、情侶金融、周末旅行、情侶主題餐廳和酒店等等,讓情侶可以輕松享受豐富多彩的二人世界。截至2016年7月,小恩愛已成功收獲了8000萬精準用戶,月交易額達到3000萬元。

 

案例背景

很多產品在迭代版本發布后,總會不可避免的遇到一些問題bug,小恩愛也不例外。每當遇到一些突發緊急、且問題嚴重的bug,小恩愛的產品技術部門之前的做法通常是:盡快將問題修復,之后重新提交到應用商店審核發布。而應用商店的等待周期較長,在此期間,因問題帶來的用戶負面影響很難控制。

為此,產品技術部門決定參考手游的迭代方法,采用熱更新技術,通過遠程打補丁修復一些bug,用戶無需更新應用就可即時生效。但由于相關經驗的欠缺,產品技術部門決定通過吆喝科技提供的A/B測試解決方案里 灰度發布 的方法,驗證熱更新技術的有效性。

 

測試方案

AppAdhoc A/B Testing采用科學的試驗流量分割,使得每一組試驗對象具備一致的用戶特征。同時,平臺還支持灰度發布的功能,企業可在試驗過程中隨時調整用戶流量,在版本穩定無bug的前提下,逐步擴大新版的使用群體,完成產品發布的平穩過渡。

小恩愛的產品部門將技術部門在iOS平臺上研發的JSPatch熱更新技術灰度發布給部分真實用戶,通過監測新版本的用戶數據并與原始版本進行對比,綜合考量分析,最終決定是否將此項技術全量應用到所有iOS端中。

 

測試目標

此次試驗主要用于測試JSPatch熱更新技術對突發bug的解決能力。在保證用戶使用正常的前提下,逐步調大流量,觀察是否存在異常,判斷能否全面應用該項技術。

?

A/B測試數據反饋

本次試驗在iOS端進行,在試驗的三個月期間內,正好遇到應用的閃退bug。產品技術部門立即將流量調大,利用JSPatch熱更新接口遠程打補丁試圖修復bug,在試驗過程中觀察閃退問題的修復情況。

-補丁上線后,發現應用的閃退問題并未得到全面修復。由此可見熱更新技術還無法推送給所有用戶,需要從技術層面進一步優化后再觀察;

-綜合評估后,產品部門決定將試驗停止,關閉JSPacth熱更新接口;同時,排期對該接口的功能做進一步優化和測試;

在經過幾周的深度優化和測試后,技術部門通過在AppAdhoc A/B Testing克隆試驗,繼續對該功能進行灰度發布測試效果;

最終,數據和用戶反饋證明該功能可以使他們在不重新發版的前提下,向客戶端推送修復補丁并執行修復進程,即達到了預期的效果;因此,他們通過AppAdhoc A/B Testing將此功能推送給所有iOS端的用戶。

5926 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 广东36选7几点开奖结果今天晚上 今天山西快乐十分开奖走势图 多乐彩玩法 上海时时乐开奖结果查询 双色球红球杀号大全 上海时时彩彩票机 河北快三助手免费版 新疆25选7开奖结果 双色球历史一等奖号码查询 J8彩票首页