讀懂A/B測試

A/B測試是任何數據驅動環境下的主要工具之一。你可以認為它是一個“斗獸場”,在這里不同的版本代表不同的戰士,經過用戶選擇的角逐,挑選出最終的勝利者。

 

當然,網站上不會有流血犧牲,只會有更多的統計數據,但基本原則保持不變:不經過A/B測試,你永遠不會知道那個版本能贏。

 

A/B測試讓你能夠同時比較同一個網頁的多個替代版本,并了解哪些產生了最佳結果,例如點擊率提高,參與度或任何其他指標。

那么A/B測試到底是什么?

A/B測試是一種進行實驗的方法,通過隨機分配給每個組一個特定的變量,將一個對照組與一個或多個測試組的性能進行比較。

 

首先,你決定做一個實驗。也許你正在構建一個強制用戶的應用,你打算在落地頁上進行實驗。想看看是否可以提高注冊率。

目標網頁的轉化率為:注冊訪客數/訪客總數

比如,今天有100人訪問落地頁,其中20個人注冊,那么你的轉化率就是20%。所有其他條件相同,轉化率較高的落地頁勝出。

構建對照

一旦決定要測試,必須構建對照,其中一種作為控制組,比如你當前的落地頁,其他的對照跟控制組有所不同。下面是值得測試的元素:

布局,移動注冊表單,添加字段,刪除字段。

標題,添加標題,改變標題顏色,更改文案。

文字,對字體大小,顏色,位置和內容的更改。

 

你可以有盡可能多的對照,但為了更快得出數據,必須減少對照數量。

隨機化控制手段

你不能在星期五發布一個目標網頁,在星期六發布另一個目標網頁,并比較轉化率——沒理由認為星期五和星期六的訪客是一樣的,事實上,他們不一樣。

 

A/B測試通過并行運行實驗以及隨機分配訪客來解決這個問題,這控制了變量對時間的敏感性,并按比例分配給不同的對照組。

數據案例

一個例子

假設我們有一個叫做“Foobar”的服務,并在落地頁運行實驗,目標是將轉化率提高10%以上。當新訪客到達落地頁時,我們隨機分配給他們3個版本中任意一個:控制組,對照組A,對照組B。

 

假設這幾個版本是對標題的不同。比如,控制組標題可能是“Foobar is a great service ! Sign up here.”其中一個版本可能是“Foobar lets you stay in touch with family all across the country——easily.”

 

運行實驗幾天,得到以下數據:

AB測試

從以上數據可以得出版本B獲勝,但你必須小心——如果轉化率接近或你的樣本量較小,你不能確定那個版本更好。比如,你能肯定的說,版本A比控制組更好還是嗎?

樣本大小問題

樣本大小是接受該樣本的人數,樣本量越大,樣本表現越能反應真實情況。

 

比如,假使上面的數據是下面的樣子又如何?

現在那個版本更好呢?你可能會說,版本A更好,因為它的轉化率更高。但這種情況就跟你覺得你拋一枚硬幣3次,得到所有正面,就認為硬幣經過特殊處理一樣。

 

雖然這種情況有出現的可能,但可能性不大。樣本量越大,你就越能確定你所觀察到的效果是來自于版本的真正差異而不是純粹的概率。事實上,這些結果都不是統計顯著的,即它們可能樣本的真實差異引起的。

 

由于樣本會分配給不同的版本,因此主要有兩種方法來增加樣本大小:使用更少的版本或運行更長時間的實驗。
本文由吆喝科技編譯自:http://20bits.com/article/an-introduction-to-ab-testing

4374 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 上海时时奖结果查询 cba 永久固定单双公式规律 排列三排列五开奖号 极速时时提醒软件 中国体育彩票11选5犯法吗 北京时时宝典 江苏时时技巧 澳洲幸运 斯诺克上海大师赛