人人都應該了解的A/B測試

%e4%ba%ba%e4%ba%ba%e9%83%bd%e5%ba%94%e8%af%a5%e4%ba%86%e8%a7%a3%e7%9a%84

當下,我們發現各個行業的小伙伴對A/B測試的關注越來越強烈了,在線上線下活動中的提問的也越來越有深度。即便如此,我們發現大家對很多基礎問題,還處于模糊理解的狀態。比如,哪些元素可以作為A/B測試對象,在A/B測試過程中要注意什么,以及如何對A/B測試結果進行有效解讀等。

 

為了讓大家能夠順利跨越初級者的門檻,多角度、由淺入深去理解A/B測試并熟練運用到日常的產品、運營、市場業務中,逐漸成長為一名善用A/B測試的增長黑客,我們決定之后不定期給大家的推薦一些以簡單、實用為主的干貨,幫助大家能夠快速利用A/B測試實現產品優化。

 

今天,我們先來看看最基礎的內容:
在做A/B測試前,你需要先確認的除了產品日活以外(想要得到可作為參考的A/B 測試的結果需要大量用戶數據支撐,日流量越大的網站 App 得出結果越準確。日活1000是一個門檻,如果你的日活用戶低于1000,那么你暫時很難通過A/B 測試達到你想要的結果),就是試驗目的和試驗場景;每一個A/B測試中的試驗版本都是基于試驗目的和試驗場景來搭建的。

 

1.試驗目的
試驗目的就是通過此次測試,你希望提升哪些產品的業務指標,關于這些指標的數據將在A/B測試中進行統計并分析,并在試驗周期結束作為參考。和我們在開展任何其他工作之前一樣,在做A/B測試之前,你也要首先為此次測試設定一個目標。明確這個目標的重要性和做產品時需要明確解決用戶哪些問題是一樣的。確立一個有效、可追蹤的目標可以使你在創建試驗場景時思路更加清晰。這個目標可以是一個事件點擊的提升,或者是一個產品展示轉化的提升,然而產品拉新、留存或者是 LTV 類似的指標不建議作為試驗提升的首要目標,因為可以影響到這些指標的因素很多,你不可能從一次A/B測試的數據結果中,就自信滿滿的確認某某改動立即將月用戶留存提升了多少多少,即便留存在測試階段真的提高了,這個推斷也只能僅供參考,因為這類比較寬泛的運營指標會受到很多外部因素的影響;產品特性,定價、運營活動、甚至 App 開啟時間都可以或多或少的影響用戶留存。

 

在這里我們還要再提一句,隨著你逐漸更加深入地接觸A/B測試,這類比較寬泛的產品運營指標可以作為試驗的次要目標來作為觀察對象,我們在后續的內容也對對這塊內容做進一步解讀,但是你剛剛接觸A/B測試時,還是先關注試驗版本對其有直接影響指標吧。

 

2.試驗場景
確認我們希望通過試驗提升的業務指標后,我們還需要確認哪些因素的調整會對這些指標的變化產生影響,從而虛構出一個產品調整后的場景,然后基于這些最終搭建出一個可行的試驗版本,聽起來有點復雜但其實非常簡單,這個場景可以是這樣的,如果此試驗目的是提升用戶將產品加入購物車的轉化,那么如果我將購物車的顏色改變一下,是否可以提升這個指標,從而帶來下單率的提升?

 

或者是,加入我希望提高用戶分享的轉化,那么我直接把分享圖標改動一下,是否能夠直接影響這個指標?然而,這些場景的思路并不一定要靠你自己琢磨;我們在每次產品迭代時,應該有很多渠道能獲取到構建這個場景的思路。

 

內部討論:新功能上線前,對于用戶體驗,大家幾乎很難不吵一抄,撕一撕;技術同學覺得產品介紹字體大一點能促進用戶購買轉化,運營小伙伴覺得產品列表布局中簡潔能帶來更好的點擊,等等。這些其實不都是思路么……

 

用戶心聲:你肯定有各種能傳遞用戶心聲的渠道;通過定期從用戶內測群,微博、或者社區類似渠道,可以直接獲取用戶對產品的第一手資料,假設你的一些用戶通過社區調研問卷反饋你的產品按鈕應該加上文字可以使他們更容易理解對應展示的內容,為何不把它直接創建成一個試驗版本,來看是不是其他人也這么認為?

 

創新思維,頭腦風暴:為了創造更好的產品,我們應該已經習慣了像喬布斯一樣,每次做產品時都需要想到客戶前面,去思考哪些改動能給他們帶來更好的體驗,這些思路是真正可行,我是不是可以直接利用A/B測試去驗證一下?
好了,說了這么多,為了幫助大家理解,我們還是請小明出場,我們假設小明是一名電商 App 的產品產品經理,看看他這個階段是如何確立試驗目的和試驗場景的:

 

小明作為一家電商 App 的產品經理,他的主要職責就是以客戶需求導向產品優化。在定期分析這些運營數據時,他發現用戶行為漏斗中,在購物車這個頁面的轉化很低,在仔細分析這個頁面可能會導致用戶跳出的因素后,小明決定先將購物車的顏色改變一下,換一個更可以吸引用戶注意力的顏色,看看是不是可以帶來一些提升。于是這個試驗的目的和試驗場景就確定了。

 

試驗目的:增加購物車以及訂單轉化

試驗場景:通過改變現有購物車的顏色來觀察此元素是否可以影響購物車以及訂單轉化

 

是不是很簡單?你也趕快來試一下吧!

 

本文作者:吆喝科技 CSM @ 傅禮陽

 

吆喝科技:國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 測試服務的專業 SaaS 平臺。支持線上灰度發布、多維度數據統計分析、科學的流量分配系統、一鍵發布新版本無需應用市場審核、定向測試。

用數據幫助用戶優化產品,提升轉化、留存和你想要的一切。 AppAdhoc 用數據驗證最佳方案,提高產品設計、研發、運營和營銷效率,降低產品決策風險。

6018 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 财神彩票群 西甲硅油乳剂 全讯彩票苹果 微商代理赚钱风险 广东快乐十分走势图快一定牛 澳洲幸运10官方开奖网站 广西十一选五一定牛 万堂料波叔一波中特 福建时时彩开奖走势图 辽宁快乐12微信群