那些年我們一起追過的AB

AB測試

A/B測試的作用大家都知道,就不多說了,在這里寫寫我在平時工作中應用心得。

 

在我的業務線平時應用A/B測試的場景:A大多是已經在線的一個產品,而B是一個我們將要上線的另一版本的產品(有可能是改進也有可能是推倒重來的),因為直接通過B去替換A可能用戶一下子接收不了,所以我們會切部分用戶出來用B版本,上線一段時間后,收集用戶的反饋,再去調整,逐步去替換使用A的用戶,這樣做能讓用戶更平滑的接收。別小看這個過程,其實有很多策略可講究了。說說我的真實經歷。
灰度發布

之前做【AE賣家后臺首頁改版】的時候有兩種方案做A/B測試,第一種:直接切20%的流量體驗新版后臺(根據帳號數隨機切20%的用戶登錄就跳轉到新版),不提供【返回舊版】入口,另一種切50%的流量讓用戶體驗新版后臺,但是要提供【返回舊版】的入口。

 

第一種方案相對比較保守或者說慎重,因為用戶不能回到原來熟悉的頁面中去使用,特別是在后臺(執行任務為主)一旦用戶有比較緊急和重要的任務要做(比如編輯產品、發貨、回復詢盤),會非常影響他的效率,從而直接帶來一些不理性的反饋。好處:如果產品的改版是方向性的(就是商業決策上一定要這樣去改了),那通過這種方案一步步切流量,整個過程還需要和用戶溝通解釋,就能有個較平滑的過渡,比如網站首頁的改版、?SKU?項目。

 

第二種方案就比較開放,因為用戶有【返回舊版】的入口,用的不爽可以回去,而且被測試的用戶基數較大,這樣得到的反饋相對來說更有定量的價值,容易發現同類度比較多的問題,相對來說反饋內容也比較理性充實,我在群里、網上、上門跟用戶聊的時候他們大多都說出對于不爽的很多細節。

 

當然這兩種方案都基于一個很重要的前提,改版前做好功課:解決的問題和用戶期望匹配度要高,準,而且第二種尤其。寫到這里大家應該能看出我最終選擇了哪種方案做了【AE賣家后臺首頁改版】。

 

對了,第二種方案還能給我們一個很重要的結果指標,就是用戶在A/B版本的存留人數,再來看個當時【AE賣家后臺首頁改版】review數據圖。

 

此次使用A/B test 的進行測試,新舊版各50%的用戶,在新舊版頭部布有切換按鈕,用戶在下次登錄ME時會自動進入上次退出地的ME版本中。

數據對比

AB測試,b3

總的來說新版上線后,用戶隨著一個時間段的體驗和適應,新舊版的的存留上是五五開。

 

新版由于鏈接數上有所簡化,所以PV對比上會略低,而新版Session在近一周有所超越舊版的跡象。

 

通過存留比能很好的反映用戶最終的接受度,同時也是作為判斷產品是達到足夠替換舊版的一個重要指標之一。

 

這里再提一下對于改版類的A/B測試還有一大利器就是熱點分布圖,基本能很直觀的表現出用戶的焦點功能能否在一屏內看到,操作到,盡量少的需要滾動。

A/B test RESULT

b4

當然每個產品情況不同不一定是看類似的指標數據,但在做A/B前梳理清楚上線后通過哪些數據來衡量是非常重要的,衡量哪些指標,我們UED也最好能主動和PD一起去討論,畢竟有些指標數據能指導、影響我們的方案和看問題視角。

 

當然A/B測試還有很多種用法和分步實施方案,測試出的結果也會有很多有意思的解讀,項目做的多了,思考的多,遇到的問題多了,都能感受的到,以上只是舉了個簡單的例子。

A/B測試和PD

寫到這個標題,是我想到了很多時候UED在PD溝通方案出現分歧時,最終會提出做A/B測試,這本身沒錯。但我在和PD們聊過這個問題時,他們有時候會有一種較負面的感覺:這么小的一個需求還要做A/B哪有資源和時間,感覺這成了阻礙他們項目進度的一個絆腳石。可能我們只是想證明自己更對,并沒有那種意思,但如果對方有了這種感受其實很不利于以后的合作的。

 

我的一點點看法就是,如果項目是很重要和關鍵的改動,我們盡早提出該項目需要做A/B測試(PD也會比較慎重的,最好你還能提出如何去做A/B測試的建議方案更nice),規劃到項目整體資源中去,而不是在項目KICKOFF后,大家都完成了評估開始執行了再來提。如果是些小改動影響不大,方案一直糾結不下,哪我建議我們大度點讓讓TA們吧,最后真的他們錯了,補救的成本也不會太高的。這點是我們需要注意下的。

 

以上只是個人心得,雖不能適用大家的工作場景,但舉一反三,希望帶給大家一點點思考,就算沒浪費大家讀到這里了。

 

本文轉載自:“人人都是產品經理”網站中,老曹的《關于A/B Test的那點事》,原文鏈接:http://www.woshipm.com/pd/17105.html

 

吆喝科技:國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 測試服務的專業 SaaS 平臺。支持線上灰度發布、多維度數據統計分析、科學的流量分配系統、一鍵發布新版本無需應用市場審核、定向測試。

用數據幫助用戶優化產品,提升轉化、留存和你想要的一切。 AppAdhoc 用數據驗證最佳方案,提高產品設計、研發、運營和營銷效率,降低產品決策風險。

3927 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 分分彩平台厘模式 uc彩票网址 广西福利彩票快乐双彩走势图 辽宁11选5走势图 十三水摆牌注意点 极速快乐十分计划软件手机版式 贵州11选5基本走势图 3d试机号510 辽宁11选5预测独胆 万达二分彩走势图全天