你可能把A/B測試做錯了

大衛奧格威說過,“永遠不要停止試驗,你的廣告也就永遠不會停止改進”。

 

在當今的網絡世界中,類似于吆喝科技 AppAdhoc A/B Testing 這樣的工具越來越多,AB測試和轉化優化越來越習以為常。

 

盡管A/B測試的工具簡單到讓你奶奶都可以輕易創建并發布一個試驗,UserTesting.com 發現90%的內部A/B測試都失敗了。某A/B測試供應商發現在其平臺上運行的每7個試驗中只有1個得出統計顯著的結果。這意味這只有約十分之一的試驗會顯著影響轉化率,甚至大多數的情況下,對于重要指標的改進來說,A/B測試能帶來的影響是很低的。

 

A/B測試只是一種沒有實質性推動的噱頭么?我覺得可能不是,也許只是你做錯了的結果。以下是我們對于過去5年來很多公司(包括大企業和小公司)所進行的A/B測試調研后所發現的普遍純在的問題。

生搬硬套的試驗

當你還是個學生的時候,生搬硬套的學習往往是在容易簡單記住并通過測驗時所采用的。

 

但A/B測試和你之前的測驗不一樣,它所測試的是你網站上的獨立的流量或訪客。這些試驗通常都是在這些流量及訪客沒有意識到的情況下進行的。

 

如果你大致研究過關于A/B測試的案例和博客,你就會發現以下這些過于簡單的問題:

行動召喚CTA必須在最醒目的地方

視頻能夠幫助更好的轉化

長文比短文好

短文比長文好

單頁付款比多步驟付款好

多步驟付款比單頁付款轉化高

更少填寫的表單比多要的好

……

 

針對以上的每一點結論,我發現優勝結果在各種的市場以及受眾中都最終進行驗證。

下圖是一個例子,Aussie 澳大利亞領先的房屋租賃和貸款中介公司,針對其首頁所做的關于視頻的AB測試。

我經常聽到人們說,網頁上的視頻內容一定能夠提高你的網頁轉化率。事實正好相反,上圖中沒有視頻的版本實際上多產生64%的貸款申請線索。

 

如果你是以一種簡單的生搬硬套的方式來考慮A/B測試,那么很難能產生100%或更大轉化率改善或者能夠具有大于平均百分比的優勝試驗。

 

你照搬這些教條式的想法來做A/B測試很可能無法得到最優的試驗結果。

 

人類采取合理的樣本規模更加復雜,而不是簡單被這樣的顯著變化所說服。(畢竟這是我們嘗試去影響的實驗)。我們自身也有很大的不同,比如獨特的夢想、希望、目標、需求、要求、個性等等。

“散彈槍”式試驗

回顧那些在A/B測試上重點投入人力物力的公司的結果,你經常可以發現一種我所謂的“散彈槍式試驗”。

結果=速度×平均影響×優勝率

 

想要最大化你的A/B測試結果,你應該同時努力提高試驗的速度、每次試驗的平均影響和試驗的優勝率。

 

“散彈槍”式的試驗指的是僅僅關注速度卻忽視平均影響或優勝率的試驗方式。優化團隊在整個A/B測試中不能只關注試驗的速度,沒有優勝率和平均影響差的試驗堆積是非常可怕的。他們測試能測試的一切,但當你檢查每個結果的時候會注意到,那只是亂槍打鳥罷了。

 

偶爾你會聽到,“好吧,至少我們學到一些東西”(這也許是真的)。但是學習又不影響業務的關鍵指標并且很難量化。

 

在“散彈槍”式試驗遍布的組織中,沒有什么想法試圖確定哪些試驗可能帶來高或低的影響。唯一能確定的就是測試構思沒有任何可遵循的具體辦法。

恐懼的按鈕顏色試驗

提出試驗的想法不難,為試驗的目標受眾提供具有高度潛在影響的對照試驗想法是巨大的挑戰。

 

當你讀到類似于修改按鈕的用詞就提升77%的點擊率或者谷歌測試41種灰度按鈕來測試最佳方案的時候,你也許會認為這些類型的測試簡單易行又常常能帶來巨大的成效。

 

但沒什么可以從真心更進一步

 

為了能找到更大的勝者測試,它有助于更大更深的思考。你不應該只關注于解決簡單的變化。如果你的A/B測試可以在幾行 jQuery 中實現的話,那么它可能太小了。

想想你的客戶,他們在這個市場追尋什么?你知道他們在追尋什么?或者他們知道這些事實么?如果你不確定的話,請在感謝頁面上通過調查問卷來了解下他們為什么今天沒有購買或注冊。

 

你的價值定位是什么?有沒有清晰的在網站中體現?理想的市場價值主張是什么?

 

讓我們看看下面這個案例,國有澳大利亞銀行(NAB)的兩步注冊。

哪個版本更好?第二個。將近40%的被訪人員錯誤的理解“Credit Card Control”版本A。結果是,在99%的置信區間下,表格的轉化率增加23.6%,每次訪問應用次數增加9.5%。這是個不錯的例子,預測用戶的行為往往都不靠譜。

突破圍欄限制

真正有用的是尋找“最好的分離試驗”來了解哪些改變對其他人有效。當然這也是讓人頭疼的地方。

 

37signals 嘗試提升轉化率,他們全新設計了主頁,如下所示:

新版本的轉換率提升102.5%。他們不只是改變一個行動召喚或者標題,二是徹底重新設計了主頁(基于專家所認為的可能奏效的部分)并修改:

標題

文案

背景圖

整體視覺設計

行動召喚文案

行動召喚顏色

價值主張的傳達方式

 

這次改版的 ROI 不錯,在流量相同的情況下注冊翻番。當然也可以小修小補,但如果你不突破的話,幾乎可以肯定的是你永遠也不會實現大勝利。此外,另一個優點是,你得到統計顯著將會更快一些。

統計環節的失敗

到目前為止,我們主要處理分離試驗的想法是,如何確保能夠喜迎合適的受眾,讓你提供的產品和服務令人信服。可試驗本身呢?也許你最大的失誤在于:

過早下結論 ? ? ? ?和/或 ? ? ?沒有足夠大的樣本

如果你做了大量的試驗,你也許會遇到的一個情況是,當你開始一個新的A/B測試的時候,通常前幾天的結果是很可怕的,試驗有可能有些問題,如下所示:

在上圖所示的A/B測試結果中,我們看到測試版本的數據跳水了90%。新接觸A/B測試的人認為這也許是嘗試,僅僅為了消除變化而已。

 

A/B測試(和統計分析)的終極規則是不要過早就下結論。上文提到的試驗運行了一個星期之后(這需要勇氣和所采集數據的準確性來保持試驗的正常運行),結果顯示如下:

僅僅在十天后,先前數據表現糟糕的測試版本完成大逆轉,最終有95%的可能性優于原始版本。如果你過早下結論的話,你絕對就不知道這些了。

 

在此我建議你先設置最低的試驗時間(需要跟進流量來估算),將其鎖定后后開始試驗。

如果有疑問的話(或者結果太好無法確信),可以在新的A/B測試中重新進行完全相同的試驗。

做正確的A/B測試

當你開始進行A/B測試的時候,小的增量變化和修改是很好的,但真正的A/B測試結果的關鍵是大測試、常測試、正確的想法、足夠大的樣本以及避免過早下結論。

 

如果結果看上去不錯像是真的,不要害怕測試和重新測試。A/A測試是你的好朋友。

 

花時間更好的了解你的目標受眾,他們如何與你希望的行動保持一致,以及在這寫潛在客戶采取行動后會發生什么。搞定這些,你就會把你的競爭對手甩得遠遠的。

 

本文由 mili @ 吆喝科技編譯自:https://www.sitepoint.com/ab-testing-youre-doing-it-wrong/

 

吆喝科技:國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 測試服務的專業 SaaS 平臺。支持線上灰度發布、多維度數據統計分析、科學的流量分配系統、一鍵發布新版本無需應用市場審核、定向測試。

 

用數據幫助用戶優化產品,提升轉化、留存和你想要的一切。 AppAdhoc 用數據驗證最佳方案,提高產品設計、研發、運營和營銷效率,降低產品決策風險。

5564 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 辽宁35选7开奖结果新闻 七乐彩开奖时间 快乐赛车大战地图 北单上下单双技巧 人人赚钱app真的能提现吗 茅台股票分析论文 11选5任选5复式票 新疆35选7开奖走势图 天易棋牌游戏中心 怎样赢网络棋牌机器人