淺談A/B測試里常見的辛普森悖論,企業決策者必看

A/B測試背后有著高深的統計學知識,今天我們就來講講常見的辛普森悖論。

辛普森悖論 (Simpson’s Paradox) 是英國統計學家 E.H.辛普森 (E.H.Simpson) 于1951年提出的悖論,即在某個條件下的兩組數據,在分別討論時都會滿足某種性質,可是一旦合并起來進行考慮,卻可能導致相反的結論。

ab測試

舉一個辛普森悖論的簡單小例子:一個大學里有商學院和法學院兩個學院。這兩個學院的女生都抱怨“男生錄取率比女生錄取率高”,有性別歧視。但是學校做總錄取率統計,卻發現總體來說女生錄取率遠遠高于男生錄取率!

 

商學院男生錄取率75%高于女生錄取率49%,法學院男生錄取率10%也高于女生錄取率5%,但是總計來說男生錄取率只有21%,只有女生錄取率42%的一半。

ab測試原理

為什么兩個學院都是男生錄取率高于女生錄取率,但是加起來男生錄取率卻不如女生錄取率呢?主要是因為這兩個學院男女比例很不一樣,具體的統計學原理我們后面會詳細分析。

 

這個詭異 (Counter intuitive) 的現象在現實生活中經常被忽略,畢竟只是一個統計學現象,一般情況下不會影響到我們的行動。但是對于使用科學的 A/B 測試進行試驗的企業決策者來說,如果不了解辛普森悖論,就可能會錯誤的設計試驗,盲目的解讀試驗結論,從而對決策產生不利影響。

 

我們用一個真實的醫學 A/B 測試案例來說明這個問題。這是一個腎結石手術療法的 A/B 測試結果:

ab測試技巧

看上去無論是對于大型結石還是小型結石,A 療法都比 B 療法的療效好。但是總計而言,似乎 B 療法比 A 療法要好。

 

這個 A/B 測試的結論是有巨大問題的,無論是從細分結果看,還是從總計結果看,都無法真正判斷哪個療法好。

 

那么,問題出在哪里呢?這個 A/B 測試的兩個試驗組的病歷選取有問題,都不具有足夠的代表性。參與試驗的醫生人為的制造了兩個本身不相似的試驗組,因為醫生似乎覺得病情較重的患者更適合 A 療法,病情較輕的患者更適合 B 療法,所以下意識的在隨機分配患者的時候,讓 A 組里面大結石病歷要多,而 B 組里面小結石病歷要多。

 

更重要的問題是,很有可能影響患者康復率的最重要因素并不是療法的選擇,而是病情的輕重!換句話說,A 療法之所以看上去不如 B 療法,主要是因為 A 組病人里重病患者多,并不是因為 A 組病人采用 A 療法。

 

所以,這一組不成功的 A/B 測試,問題出在試驗流量分割的不科學,主要是因為流量分割忽略了一個重要的“隱藏因素”,也就是病情輕重。正確的試驗實施方案,兩組試驗患者里,重病患者的比例應該保持一致。

ab3

因為很多人容易忽略辛普森悖論,以至于有人可以專門利用這個方法來投機取巧。舉個例子,比100場球賽以總勝率評價好壞。取巧的人專找高手挑戰20場,勝1場,另外80場則找平手挑戰,勝40場,結果勝率41%;認真的人則專挑高手挑戰80場而勝8場,而剩下20場平手打個全勝,結果勝率為28%,比41%小很多。但仔細觀察挑戰對象,后者明顯更有實力。

 

從這幾個辛普森悖論的例子出發,聯想到我們互聯網產品運營的實踐,一個非常常見的誤判例子是這樣的:拿1%用戶跑了一個試驗,發現試驗版本購買率比對照版本高,就說試驗版本更好,我們要發布試驗版本。其實,可能只是我們的試驗組里圈中了一些愛購買的用戶而已。最后發布試驗版本,反而可能降低用戶體驗,甚至可能造成用戶留存和營收數額的下降。

 

那么,如何才能在 A/B 測試的設計、實施,以及分析的時候,規避辛普森悖論造成的各種大坑呢?

 

最重要的一點是,要得到科學可信的A/B測試試驗結果,就必須合理的進行正確的流量分割,保證試驗組和對照組里的用戶特征是一致的,并且都具有代表性,可以代表總體用戶特征。這個問題也一直是吆喝科技的 AppAdhoc A/B Testing 云服務的云端系統著力研究和解決的問題。

 

本文作者:吆喝科技創始人及CEO 王曄

 

吆喝科技:國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 測試服務的專業 SaaS 平臺。支持線上灰度發布、多維度數據統計分析、科學的流量分配系統、一鍵發布新版本無需應用市場審核、定向測試。

用數據幫助用戶優化產品,提升轉化、留存和你想要的一切。 AppAdhoc 用數據驗證最佳方案,提高產品設計、研發、運營和營銷效率,降低產品決策風險。

7416 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 贵州11选5 流量宝刷赚钱软件 股票指数期权交易 快乐扑克051377期 安徽时时彩十一选五开奖结果走势图 21号双色球开奖直播视频 四川快乐彩票软件 河北快3开奖号码今天 包中彩票 舟山飞鱼直播走势图片