理論到實踐,A/B測試不得不直面的4個統計學問題

APP優化工具

有放回?無放回?

從總體中隨機抽取一個容量為n的樣本,當樣本容量 n足夠大(通常要求n ≥30)時,無論總體是否符合正態分布,樣本均值都會趨于正態分布。期望和總體相同,方差為總體的1/n。這即是中心極限定理,是A/B測試數據分析的基礎。

 

然而抽樣分為有放回和無放回兩種。樣本均值的方差是總體方差的1/n(n為樣本容量),這個結論是針對有放回抽樣的。實際試驗中,大部分是無放回的,這樣流程比較簡單。無放回抽樣,樣本均值方差見下。觀察公式可知道,當總體容量比樣本容量大很多倍時,樣本均值的方差可以近似為總體方差的1/n。

ab測試

配對樣本?獨立樣本?

當兩個樣本的獲取存在關聯時,稱為配對樣本。例如比較人早晚身高變化,如果早上身高的樣本包含了張三,則晚上身高的樣本也要包含張三。

某些情況下配對樣本比較難實現,比如藥物雙盲試驗,患者不能既服用安慰劑又服用藥物。這時只能使用獨立樣本,隨機分配個體進入兩個樣本,認為2個樣本的個體統計上不存在差別。同時患者不知道自己服用的是安慰劑還是藥物,消除心理作用的影響。

互聯網產品的A/B測試和新藥試驗類似,理論上說應該讓同一組用戶同時看到多個版本進行比較,或者是看完一個版本后用時間機器倒回去再看另一個版本。顯然無法做到,只能選取試驗用戶時足夠的隨機,讓兩組用戶從統計意義上相同,認為偏差都是產品版本造成的。

樣本方差?總體方差?

A/B測試計算置信區間的公式:
ab測試技巧

置信區間計算公式中的方差項,理論上應該使用總體方差。而總體方差沒法知道,只能用樣本方差來代替了。好在樣本方差是總體方差的無偏估計。樣本方差和總體方差的比值,符合χ2分布。

ab測試原理
時變?時不變?

A/B測試需要假設產品用戶的訪問習慣不會隨著時間的推移而發生變化。很遺憾在某些情況下并不是這樣。某些產品存在很明顯的季節因素,例如旅游。一般的A/B測試周期會包含休息日和工作日,但很難包含多個季節,在外推測試結論時要十分謹慎。另外強烈的外部事件會對用戶產生刺激,要避免在這種情況下進行A/B測試,盡量在平穩時期進行。

 

本文作者:吆喝科技高級客戶成功專家 韓剛

 

吆喝科技:國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 測試服務的專業 SaaS 平臺。支持線上灰度發布、多維度數據統計分析、科學的流量分配系統、一鍵發布新版本無需應用市場審核、定向測試。

 

用數據幫助用戶優化產品,提升轉化、留存和你想要的一切。 AppAdhoc 用數據驗證最佳方案,提高產品設計、研發、運營和營銷效率,降低產品決策風險。

4349 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 香港恵择社群开奖结果 pk10技巧光大gd567网 上海时时查开奖结果查询 波克梭哈下载 新疆时时结果记录 全年公式规律奇门方法出尾 网上在线刮刮乐 pt电子熊之舞网站 上海快三综合走势 江苏快3怎样下载安装