10%的試驗成功率究竟意味著什么?

【吆喝擷英】

在此之前,我的實驗屢屢失敗。10次實驗,最多能有1次成功。但是即便如此,我還是會不斷在細節上做出調整,提高精準度,在進行下一次的實驗。在過去的20多年時間里,我一直在持續不斷做實驗,我終于成功了。

——2011年獲得諾貝爾生理學獎獲得者????????? 山中伸彌

山中伸彌因何獲得諾獎?逆轉錄病毒誘導生成IPS類干細胞。或許你聽不懂,簡言之,他的研究成果能夠讓普通細胞據胚胎干細胞的能力,能夠形成任何人體器官……在此基礎上繼續發展,任何致命的心血管疾病、器官衰竭或破損都將得到解決(并且能夠避免通過胚胎獲取干細胞的倫理問題)——真正做到『起死回生、妙手回春』。他是如何做到的呢?就如引言所說。

ips

20年只做一件事情——不停試驗,如果再加上不足10%的成功率究竟意味著什么?有人會想到『書山有路勤為徑,學海無涯苦作舟』,吆喝君卻認為這個加法等號的右邊是成功。偉大的成功往往源于堅持不懈,可是盲目的勤奮和一味的吃苦并不是成功的必然條件,只有建立在試驗思維下的堅持到底才是勝利。

%e5%b1%b1%e4%b8%ad%e4%bc%b8%e5%bc%a5

互聯網亦是如此。泡沫的遠去,互聯網產品本身發展的魅力得以體現。或許,這個世界上再也沒有任何其他一個領域從源頭上就可以深度接入試驗文化。從 Goolge 第一次不太成功的 A/B 測試開始到如今世界上頂級科技普遍利用 A/B 測試優化產品體驗,已經一部分人開始意識到:對于互聯網公司而言, A/B 測試并不是有沒有沒有的問題而是多還是更多的問題。

ab_testing_2

亞馬遜創始人貝佐斯曾毫不避諱的表示“試驗不是策略之一,而是策略本身”,包括 Facebook、Linkedin、Google、Airbnb、Wish、Uber、Netflix 等一系列巨頭從創業之初到現在始終沒有改變的 A/B 測試。A/B測試,不是高高在上的理論假設,也不是俗爛的運營套路,而是一個中觀的科學實踐方式。

facebook

經過國內外一系列第三方A/B測試方案提供方的不懈努力(國外如Optimizely,國內如吆喝科技越來越多的國內公司開始積極接觸A/B測試。這些公司往往有著強烈的互聯網業務增長需求卻只能從一些非專業人士那里聽到一些皮毛甚至是錯誤的認知。今天吆喝君從理論到實踐幫助大家從根本上正確認識“A/B 測試 ——定義、特性、實施流程(更多內容點擊閱讀原文獲得更多信息)。

A/B測試的定義:分離式組間試驗方法

分離式組間試驗方法。基于統計學假設檢驗原理設計的對照試驗,通過對照組和試驗組的采樣樣本分析來推斷某個假設是否對總體樣本成立。在科學研究領域被用作最高水平的檢驗方法,在產業上被應用在醫療臨床3期,農業試驗田,廣告營銷設計優化,互聯網產品迭代優化,互聯網流量運營轉化率優化,選舉策略優化等場景。

640_014

廣告之父 David Ogilvy:測試不息,增長不止

A/B測試的三大特性:先驗、并行、科學

先驗性:?A/B測試結果屬于預測型結論,與“后驗”的歸納性結論差別巨大。后驗的方式是先將版本發布,再通過數據驗證效果,而A/B 測試用很少的樣本量來推斷新版本在全流量下的效果。

并行性:?A/B測試將兩個或以上的方案同時在線試驗,保證每個版本所處環境的一致性,同時節省了驗證的時間,無需在驗證完一個版本之后再測試另一個。

科學性:?A/B 測試的正確做法是將相似特征的用戶均勻的分配到試驗組中,確保每個組別的用戶特征的相似性,從而避免辛普森悖論。

A/B測試試驗是產生用戶阻力的地方,也是增長前進的核心動力。

增長之輪

轉化率優化之輪

A/B測試的實施流程

不同平臺因技術實現方式不同而在實施流程上有所差異,不可能在一篇文章中全部覆蓋,那么我們就以相對成熟完善的AppAdhoc A/B Testing為例展開:

A/B測試實施流程

1.試驗設計:

根據假設確定試驗項目的設計,包括試驗版本和變量,試驗觸發條件,試驗針對的用戶受眾,試驗流量分配,優化指標等等。

2.試驗配置:

對H5或廣告著陸頁等場景的試驗,設置觸發條件,比如完全匹配URL或者模糊匹配URL。如果試驗是定向針對部分用戶群體的,設置受眾定向,比如小米Mix2手機用戶。

3.創建試驗版本:

對于UI布局,banner圖片,文案,配色等試驗,可以使用可視化編輯器來編輯生成試驗版本;對于廣告著陸頁等試驗,可以使用多鏈接試驗來直接把不同的URL當作不同的試驗版本來對比;對于新功能灰度發布,后端算法調整,結構改版等試驗,可以使用編程模式自定義試驗變量,請工程師來將變量集成到代碼里。

4.設定優化指標:

對于用戶行為類優化指標,比如按鈕點擊、圖片點擊、URL跳轉等,可以使用可視化編輯器來埋點;對于需要代碼計算的指標,比如收費金額等,可以使用編程模式自定義指標,請工程師將指標埋點集成到代碼里。

5.QA調試和上線:

使用內部測試機器來調試原始版本和試驗版本,檢查版本是否符合試驗設計,檢查系統是否能正確收集到調試數據。對于App編程模式試驗,通過QA調試之后,可能需要將新版App代碼上線應用商店。

6.流量分配:

一般先給試驗分配小流量,比如10%流量,其中5%給原始版本,5%給試驗版本。如果沒有bug和數據異常,再逐步提高試驗流量到20%,50%,100%。注意盡量保證原始版本和試驗版本的流量相等。

7.數據分析:

實時檢查試驗數據,觀察試驗版本優化指標的置信區間來判斷試驗假設是否正確。

%e5%90%8e%e5%8f%b0%e6%95%b0%e6%8d%ae

更清晰的后臺可點擊“查看原文”免費注冊體驗

【吆喝點睛】

A/B測試,往往會被看做一種黑客增長工具。然而,A/B測試并不是一個僅僅滿足人們短期增長目標的興奮劑,而是一個有目標、有追求的公司所要堅持的企業文化和增長文化。2011年獲得諾貝爾生理學獎的日本教授山中伸彌,因實現了細胞逆向重編程(能夠讓任何細胞退回到受精卵階段成為IPS萬能細胞),在京都大學召開記者招待會上,他說了這樣一番話:“在此之前,我的實驗屢屢失敗。10次實驗,最多能有1次成功。但是即便如此,我還是會不斷在細節上做出調整,提高精準度,在進行下一次的實驗。在過去的20多年時間里,我一直在持續不斷做實驗,我終于成功了。”這個世界只有兢兢業業的創業人,卻從未有馬馬虎虎的成功者。

%e5%ae%98%e6%96%b9%e4%ba%8c%e7%bb%b4%e7%a0%81

歡迎關注吆喝科技微信公眾號,發現更多更好地A/B測試內容

5386 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 荣盛2国际 朋友一起的二人斗地主 极速赛车pk10精准计划 抢庄牌九外挂 网赌电子游戏 体彩电子投注单的兑奖 广东11选5任5计划 快乐时时开奖号码查询结果 牛牛看牌抢庄有打法吗 pk10免费永久计划app