A/B測試中20個必須知道的問題(上)

在網站和移動產品設計和開發中、以及互聯網產品運營中,我們經常會面臨多個產品設計和運營方案的選擇,比如某個按鈕是用紅色還是用藍色,是放左邊還是放右邊。傳統的解決方法通常是集體討論表決,或者由某位專家或領導來拍板,實在決定不了時也有隨機選一個上線的。雖然傳統解決辦法多數情況下也是有效的,但A/B 測試(A/B Testing)可能是解決這類問題的一個更好的方法。

在軟件開發中,產品需求通過多種技術手段來實現; A/B測試實驗提供了一個有價值的方式來評估新功能對客戶行為的影響。

在運營過程中,A/B測試用得更加普遍,比如發送郵件或者廣告,先拿小樣本,測試多個版本,數據表明哪一個廣告或郵件的轉化率高,就用哪一個郵件或廣告。

1 什么是A/B測試?

A/B測試是一種流行的網頁優化方法,可以用于增加轉化率注冊率等網頁指標。簡單來說,就是為同一個目標制定兩個方案(比如兩個頁面),將產品的用戶流量分割成 A/B 兩組,一組試驗組,一組對照組,兩組用戶特點類似,并且同時運行。試驗運行一段時間后分別統計兩組用戶的表現,再將數據結果進行對比,就可以科學的幫助決策。比如在這個例子里,50%用戶看到 A 版本頁面,50%用戶看到 B 版本頁面,結果 A 版本用戶轉化率 23%,高于 B 版本的 11%,在試驗流量足夠大的情況下,我們就可以判定 A 版本勝出,然后將 A 版本頁面推送給所有的用戶。

ab測試

A/B測試本質上是個分離式組間實驗,以前進行A/B測試的技術成本和資源成本相對較高,但現在一系列專業的可視化實驗工具的出現,A/B測試已越來越成為網站優化常用的方法。

A/B測試其實是一種“先驗”的實驗體系,屬于預測型結論,與“后驗”的歸納性結論差別巨大。A/B測試的目的在于通過科學的實驗設計、采樣樣本代表性、流量分割與小流量測試等方式來獲得具有代表性的實驗結論,并確信該結論在推廣到全部流量可信。

2 有天然存在的AB測試嗎?

A/B 測試并不是互聯網測試新發明的方法,事實上,自然界也存在著類似 A/B 測試的事件,比如下圖中的達爾文雀。

ab測試原理

達爾文雀

達爾文雀主要生活在太平洋東部加拉帕戈斯(Galapagos)的一個名為伊莎貝拉(Isabela)的島上,一部分生活在島的西部,另一部分生活在島的東部,由于生活環境的細微不同它們進化出了不同的喙。這被認為是自然選擇學說上的一個重要例證。

同樣一種鳥,究竟哪一種喙更適合生存呢?自然界給出了她的解決方案,讓鳥兒自己變異(多個設計方案),然后優勝劣汰。具體到達爾文雀這個例子上,不同的環境中喙也有不同的解決方案。
上面的例子雖然和網站設計無關,但包含了 A/B 測試最核心的思想,即:
1、多個方案并行測試;
2、每個方案只有一個變量(比如鳥喙)不同;
3、以某種規則優勝劣汰。

需要特別留意的是第 2 點,它暗示了 A/B 測試的應用范圍,——必須是單變量。

3 什么情況不適合做 A/B 測試?

有時多個設計稿可能會有非常大的差異,這樣的情況一般不太適合做 A/B 測試,因為它們的變量太多了,變量之間會有較多的干擾,很難通過 A/B 測試的方法來找出各個變量對結果的影響程度。

另外,雖然 A/B 測試名字中只包含 A、B ,但并不是說它只能用于比較兩個方案的好壞,事實上,你完全可以設計多個方案進行測試,“A/B 測試”這個名字只是一個習慣的叫法。

回到網站設計,一般來說,每個設計方案應該大體上是相同的,只是某一個地方有所不同,比如某處排版、文案、圖片、顏色等。然后對不同的用戶展示不同的方案。

要注意,不同的用戶在他的一次瀏覽過程中,看到的應該一直是同一個方案。比如他一開始看到的是 A 方案,則在此次會話中應該一直向他展示 A 方案,而不能一會兒讓他看 A 方案,一會兒讓他看 B 方案。同時,還需要注意控制訪問各個版本的人數,大多數情況下我們會希望將訪問者平均分配到各個不同的版本上。要做到這些很簡單,根據 cookie (比如 cookie 會話ID的最后一位數字)決定展示哪個版本就是一個不錯的方法。

下面是 A/B 測試示意圖:

ab測試技巧

可以看到,要實現 A/B 測試,我們需要做以下幾個工作:
1、開發兩個(或多個)不同的版本并部署;
2、收集數據;
3、分析數據,得出結果。

4 哪些公司在做AB測試?

A/B測試如同GitHub、Docker、APM一樣在美國市場已經被各類企業逐漸采用,比如Google、Airbnb等。

其測試范圍也不僅僅局限于網頁優化,目前移動端的A/B測試需要同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java)。

5 什么階段的公司適合做AB測試?

AB測試你自己做是要花很大的人力、物力,大公司有很大的用戶,做AB測試的話,是可以持續投入的,每個投入的提升增長價值也很大,是公司中最為重要的。

很多中小型的公司具備條件,但不一定有經驗或能力執行和分析,不過現在也有些第三方服務公司提供了工具,方便做AB測試,降低了門檻,比如吆喝科技(http://www.hwhvh.tw)在這方面做得非常好。

初創公司,在產品還沒驗證的時候,或者用戶量非常小的時候,不適合做AB測試。

ab測試工具

6 如何利用A/B測試做增長?

AB 測試是撬動理性增長的最重要工具之一。AB測試背后的理念是在于用數據來幫助你做決策,來幫助你做更好的決策,很多東西就不再是靠藝術創造、靠想象、靠拍腦袋來做,而是靠數據,像你寫代碼、做分析的時候那樣一種很理性的模式。

如果沒有 AB 測試,如果公司盲目地前行,會造成很大的損失。

在 Facebook 強行規定,發布任何一個很大功能的時候,開始要先計劃,同時要做一個預期,計劃就是你這個功能發布之后,大概周期是多久,你的預期就是對用戶的數據大概有怎樣的影響,一般來說是用戶的活躍度上漲,或者是用戶的數量上漲,但是可能有其他的影響。比如說用戶的在線時長會下降一點點,因為你更加有效了,或者是對用戶的耗電量會有影響,以及它流量的損耗。

7 A/B測試的數據結果出來后,應該怎么樣選擇?

從數據結果分析客觀的效果,但往往也需要根據用戶體驗和總收益做一個折衷。

《增長黑客》作者范冰講過一個百姓網的案例。百姓網之前有段時間銷售員和產品經理撕逼,銷售人員是覺得為了獲得更多銷售額,我們必須是用戶給錢越多,我們給他越大的特權。

APP優化技巧

百姓網A/B測試

他們想像左圖這樣,用戶在我這個平臺上發布的小帖子以后,誰給的錢多,給得最多的我給你置頂,同時又給你一個廣告位,就是紅色標量,其他的給錢沒那么多的,在相對置頂比較高的位置。就是你越給錢,我越給你一些標簽把你位置提得越高,這是銷售人員的思維;

產品經理的思維是右邊這種,雖然你給了錢,你是我們的金主,你很重要,但是我要重視我們的產品體驗,如果說你給錢我就讓你上去的話,其實這上面滿眼看得都是廣告,而且誰給錢誰就上,那就有點像百度了,像現在這個樣子他們就提出我們的產品在右邊,不管你給了多少錢,我最多就給你個高亮,所以你的位置我不給你提前。

當時為了這個原因,雙方激烈的撕逼。撕逼一般是沒有結果的,因為公說公有理,婆說婆有理,后來他們想到組織一次 AB 測試,下發了兩波用戶,看這兩波用戶各自呈現兩種不同的頁面,哪波用戶最后轉化率高,帶來的收入高,還有其他一些指標的綜合判斷。

結果是怎樣的?

大家從直覺判斷,一定覺得產品經理的決定是對的,最后一定是用了產品經理的方案。

測試結果,右邊產品經理方案是好的,他的數據更高,但是最后用了左邊的方案。為什么?因為測試結果反饋顯示,這兩個方案雖然右邊更好,但是他這個好的方案只是精確到小數點后面的千分位,只是比前一種方案好了那么一點,雖然是好了那么一點,但是左邊的方案更吸金,左邊的能吸引到大家更多的往里投錢,更多的花錢,既然是只好了這么一點點,當然要用左邊的。于是經過測試以后,他們最后用了左邊的方案,這是大家沒有想到的結果。

因為 A/B 測試固然重要,A/B 測試的結果的確右邊好,但是有的時候要結合實際,如果說差別不是很大的話,你可能要選一種賺錢更多的方式,這是 A/B 測試一個很大的價值,大家不要偏信數據,不要被數據給完全左右,有的時候結合一些你的理性的思考。

8 AB測試的具體實施流程是什么樣的呢?

其實非常簡單,可能在座的大家都有一定地印象,比如說你有一個網頁,就是你用戶流量的頁面,你用上面的綠色作為一個代表,如果你現在的頁面只有23%的轉化率,你希望通過某種黑客方式,把它調一調,改一改,改成藍色的頁面,希望能夠提升它的轉化率。

那么可以用A/B測試怎么做呢?就讓來訪流量的訪客,一半或者一部分的訪客看到綠色的老版本,一部分的訪客看到藍色的新版本,這些用戶自己是無感知的,他們并不知道自己是被分配在實驗里面,他們依然按照自己的行為去操作,他們會買東西,會退出或者怎么樣,然后你看他的轉化率,有沒有發生變化,假如我們看到一個很糟糕的現象,這個藍色的版本,它的轉化率反而降低了只有11%了,結果你的老版本還勝出的,就說明你改進的方案不成功,于是你會想其 他的方案再去改,總會找到能夠提升轉化率的方法。

APP優化技巧

9 有哪些A/B測試需要注意的經驗或規則?

1.效果驚人,一些很微小的改動,它就可能造成對你KPI巨大的影響。
2.大多數改動都不會帶來大幅度提高KPI,所以你需要耐心。
3. Twyman法則,他是凡是看上去很出人意料的圖表,通常都是因為數據統計錯了。
4.各個產品幾乎都不一樣,你復制他人的經驗,往往都沒有什么效果。
5.任何能加速用戶響應時間的改動,都會帶來KPI的正向提升。
6.點擊率是很容易提高的,但是流失率是很難改進的,千萬不要把精力放在優化某個頁面點擊率上。
7.盡量不要做很復雜的大量改動的實驗,而是要做很簡單的小的迭代。

10 Facebook在增長過程中怎樣使用A/B測試?

據前Facebook工程師,現峰瑞資本技術合伙人覃超介紹,facebook做增長的流程為四步:
1 設計關鍵數據面板 2 關注核心動作 3 發現增長規律和模式 4 灰度發布和A/B測試

具體在灰度發布和A/B測試分為以下步驟:
1 計劃:根據新功能制定改版計劃;
2 預期:數據會如何變化;
3 設置多版本:逐步開放給用戶;
4 清除:清除老的版本。

6個月內所有版本完全線上灰度發布,通過不斷進行用戶流量分割的方式進行實驗,獲得無Bug口碑。

 

點擊查看:A/B測試中20個必須知道的問題(下)

 

吆喝科技:國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 測試服務的專業 SaaS 平臺。支持線上灰度發布、多維度數據統計分析、科學的流量分配系統、一鍵發布新版本無需應用市場審核、定向測試。

 

用數據幫助用戶優化產品,提升轉化、留存和你想要的一切。 AppAdhoc 用數據驗證最佳方案,提高產品設計、研發、運營和營銷效率,降低產品決策風險。

6043 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 开元游戏官方网站 棋牌 最近养猪种树app赚钱软件 中国福彩票广东26选5预测 赛马会排位表 大米彩票安卓 云南快乐10分开奖号 pk10牛牛app 极速飞艇能玩吗 竞彩足球比分真播 云南快乐十分开奖记录