從「微信」生命周期里的試錯與浪費看灰度發布和A/B測試

關鍵字:微信、灰度發布、A/B測試、App優化技巧

%e5%be%ae%e4%bf%a1

 

可怕的不是那些人比你聰明比你努力,真正可怕的是他們比你有勇氣試錯并能迅速改錯。

 

微信的研發團隊一直信奉這樣的一句話:在互聯網開發里,如果能夠有一個團隊在更短的時間內嘗試了更多機會,并能改進過來,就能獲得更多勝出的機會。

 

《微信改變世界》里講微信有四大法器:大系統小做、讓一切可拓展、必須有基礎組件和輕松上線。這里的輕松上線的關鍵就是黑白平衡,產品上線的黑白之間,必須先有小范圍嘗試的一步,然后再逐步放量,直至覆蓋全量用戶。黑白之間有個灰,那么實現灰的方式就是A/B測試

 

Pony 曾說:“很多人都看到了微信的成功,但大家不知道,其實在騰訊內部,先后有幾個團隊都在同時研發基于手機的通訊軟件,每個團隊的設計理念和實現方式都不一樣,最后微信受到了更多用戶的青睞。你能說這是資源的浪費嗎?我認為不是,沒有競爭就意味著創新的死亡。即使最后有的團隊在競爭中失敗,但它依然是激發成功者靈感的源泉,可以把它理解為內部試錯。”

 

灰度發布和A/B測試給了我們快速試驗并改進的機會,并極大的減少了風險。

 

眼前的黑不是黑,你說的灰是什么灰

非黑即白從來不是一種普遍現象,從色彩角度講,灰度指不飽和的黑色,我們把黑色定為基準色,每個灰度對象是從白色(0%)到黑色(100%)的中間值,這中間的98%都是灰。

 

互聯網產品的幾個特點:用戶規模大、版本更新頻繁。新版本的每次上線,產品都要承受極大的壓力,而灰度發布很好的規避了這種風險。

 

產品發布的黑白之間存在一種平滑過渡的方式,就是灰度發布。從產品用戶群中選取部分用戶投放 A 版本,另一部分投放 B 版本,根據兩個版本的用戶數據反饋,逐步擴大范圍,確定最終放量投放那個版本。

 


灰度發布:有所控制地選擇發布的人群及其比例

 

一套完整的灰度發布機制會包括下面這些階段:

? 用戶標識:主要是區分用戶,同時也為數據分析做輔助。

? 目標用戶/流量篩選:需要參考用戶特征、用戶流量、用戶范圍及用戶體驗的一致性,版本迭代針對全部用戶還是部分用戶,小流量試驗通過再放量,一般來說按照內部用戶-種子用戶-活躍用戶-所有用戶的順序就是一種典型的范圍控制,體驗一致性要求考慮新舊版本的跨度是否過大,用戶能否接受。

? 實時數據監控:監測諸如新版本穩定性、服務器穩定性、使用次數、使用頻率等數據與原有數據對比。

? 一鍵發布/回滾:從數據反饋結果決定是否發布/回滾。
有人質疑灰度發布是一種浪費。但與其說這是浪費不如說是冗余和彈性,灰度發布能避免新版本全量上線的風險,通過小流量驗證的方式,在灰度階段就能發現、調整并優化產品中的問題,平滑迭代。

 

灰度如何實現?

企業內部灰度發布的實現方式有兩種:自建灰度發布系統和第三方工具。

 

自建


某運營商自建灰度發布系統案例

在這個案例里,通過前端灰度發布,后端數據即時轉換,部分營業廳試行,用戶無感知升級迭代,實現了前后端、系統層,以及實現過程的灰度發布。

 

對于開發團隊富裕、內部溝通良好的團隊可以嘗試自建系統。一般自建系統會包括分流控制系統,業務監控系統,服務器負載均衡等,同時還要兼顧拓展性,以及大業務量支持。這也意味著開發和運維成本高昂,一般的企業難以承受。

 

第三方工具實現

可用的第三方灰度發布工具很多,國內的有吆喝科技,國外的有 Optimizely 、 ABTasty 、 Apptimize 等,使用這些工具可以使我們更加快速、高效的實現灰度發布。

這里以吆喝科技的灰度發布功能為例,對于 iOS 應用來說,新版本發布要先經過7天的審核,若產品上線出現問題會被退回,更新升級后又要經過7天的審核周期。任何版本發布直接面對全部用戶,線上事故/Bug 對用戶影響極大,解決問題周期長,用戶體驗較差。


吆喝科技的灰度發布功能

接入 SDK 進行小批量用戶測試,減少全用戶發生線上事故/重大 Bug 概率,保護性開發,一鍵回滾,無再審核時間,實現絕大多數用戶對 Bug 無感知。

 

第三方工具的優勢在于快速上手,成本極低。在國內人口紅利不再,人力成本高昂的今天,擅用合適的第三方工具能很大程度上提高企業的 ROI 。

 

PM:撕得了逼,也用得了A/B測試

回到在文章開頭講的這句話:可怕的不是那些人比你聰明比你努力,真正可怕的是他們比你有勇氣試錯并能迅速改錯。試錯不是不成功便成仁,這中間也有一度灰,對于A/B測試來說,失敗的試驗很常見,因為在不會造成不良影響的情況下,你能嘗試所有“想犯的錯”。

 

對產品來說,使用A/B測試工具應該成為一種能力。A/B測試不是對產品經理 sense 的沖擊,而是讓一名優秀產品的靈感和決策更有依據。

 

吆喝科技:國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 測試服務的專業 SaaS 平臺。支持線上灰度發布、多維度數據統計分析、科學的流量分配系統、一鍵發布新版本無需應用市場審核、定向測試。

6339 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 吉林时时票 重庆时时彩助手走势app 内蒙古福彩手机app 3d百世和尾走势图 安徽时时直播结果 香港精英三中三平特 重庆时时彩21版本安卓 足球比分 5分快3大小单双稳赢技巧 河南11选5走势图