小流量AB測試能做嗎?能!

AB測試

AB測試對于產品和運營優化的重要性有目共睹。為了能更快的得到試驗結果,試驗流量越大越好。但是當流量不夠的時候怎么辦呢?小流量AB測試能不能做?能!下面有多個節約流量的方法。

消除異常數據的影響

當點擊量作為指標時,有時會看到少量設備貢獻了數萬的點擊。這些設備可能是出了bug處于異常狀態,也可能是在運行自動化測試,總之不會是正常的業務數據。如果將這些數據計入統計結果,將會對結果的準確性產生很大的影響。嚴重的情況只能重做試驗,相當于本次試驗流量全浪費掉了。所以極端用戶的數據不進行統計,實踐中讓點擊量最大的1%用戶數據不參與計算。

正確統計進入試驗的用戶數

轉化漏斗中的每個步驟都可以進行AB測試。假設在轉化漏斗的第3層的頁面進行AB測試,在統計試驗UV的時候,比較科學的方法是將進入到該頁面的用戶統計為試驗UV,而不是所有訪客。如果沒進入該頁面的用戶也統計為試驗UV,則會稀釋試驗數據。下面舉個例子看一下稀釋的效果:
AB測試需要樣本量的經驗公式為

n1

n2

δ是希望檢測到的最小變化,p為轉化率,σ是樣本的標準差。

 

假設到達該頁面的訪客為10%,該頁面轉化率為50%,如果想檢測出10%的提升(50%提升到55%),根據公式計算大概需要1600試驗樣本,對應總訪客16000。如果把所有訪客作為試驗樣本參與統計,則該種算法下頁面轉化率為5%(只有原來的十分之一),同樣想檢測出10%的提升(5%提升到5.5%),則需要30400試驗樣本,對應總訪客也是30400。

 

這個例子里節約了大概1/2的流量,如果試驗頁面的轉化率更高,前面漏斗的轉化率更低,節約效果會更明顯。

點擊轉化率比點擊數量更容易獲得統計顯著的結果

有些場景下,如果認為用戶多次點擊和單次的點擊差別并不大(比如下載,注冊,看廣告等),可以觀察點擊轉化率指標的統計結果。轉化率是去重的,用戶只要點擊過就計算為1,否則計算為0。同樣的試驗樣本,點擊量的標準差是一定大于轉化率的。

 

仍然用上面提到的公式舉例:

假設用戶點擊量的分布為0次20%,1次20%,2次20%,3次20%,4次20%。

 

則點擊量均值為2方差為2,想檢測出10%的提升需要800樣本量。

 

轉化率為80%,方差為0.16,想檢測出10%的提升需要400樣本量。

 

這個例子里節約了1/2的樣本量,如果點擊量的分布更加分散,節約效果會更明顯。

原始版本的流量不要浪費掉

在有些情況下,為了穩妥起見往往只會讓一小部分流量(比如總用戶的1%)看到試驗版本,99%的用戶看到原始版本,如果統計試驗數據的時候,看到原始版本的用戶只挑出和看到試驗版本用戶數相同的人數(總用戶的1%)來參與統計,則另外98%的流量相當于浪費了,他們實際上是對試驗有幫助的。當試驗版本和原始版本樣本數不相同時,有一個計算等效樣本數的公式:

N = (1/Ncontrol + 1/Nexperimnet)-1

 

當Ncontrol=Nexperimnet時計算得出N=Nexperimnet/2

 

如果原始版本(即control版本)的流量全部參與統計,則Ncontrol>>Nexperimnet計算得出N=Nexperimnet
等效樣本數量翻倍了,相當于又節約了1/2的流量。

善用分層試驗

想優化的地方太多了,同時跑多個試驗是常態,是不是流量就不夠用了?如果試驗之間互相不會干擾,可以考慮分層試驗。分層試驗即允許同一個用戶同時參加多個試驗,通過流量分配的隨機算法保證試驗結果的代表性。原來流量只能做一個試驗,現在不相關的試驗可以一起做了,效率成倍增加。

同層試驗共用原始版本數據

同層的多個試驗,大家的原始版本是完全相同的,分開各自統計顯然浪費了數據。以4個試驗為例:

 

如果每個試驗有獨立的原始版本和試驗版本,流量分配都是總流量的1/8,則根據上面提到的等效樣本量公式,每個試驗的等效樣本數為總流量的1/16。如果4個試驗的原始版本合并為公共的原始版本(占總流量1/2),則每個試驗的等效樣本數為總流量的1/10。等效樣本量提升了60%。

 

如果多個AB測試試驗優化的是同一指標,還可以進一步的對公共原始版本的流量進行微調。令n為試驗數量,則 (Ncontrol/Nexperimnet)2 = n 時等效樣本數量達到最大值。n=4代入得到原始版本占總流量1/3,每個試驗版本占總流量1/6,最終每個試驗的等效樣本數為總流量的1/9。等效樣本量又提升了11%。

 

本文作者:吆喝科技CSM團隊客戶成功專家 @ 韓剛

5669 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 香港本期开奖持马特碼開彩 香港赛马会走势图开奖 秒速时时提前开奖 广东时时11选5玩法 软件时时彩 北京快3手机版 快乐十分天津走势图今天 最新足球彩票开奖结果 福建时时外围 金多宝六?专家四码