當我們做A/B測試時我們都測些什么?

William Sealy Gosset 在一百多年前發明A/B測試的時候,他不知道自己無意中為百年后的互聯網企業們創造了完美的測試手段。

AB測試之父

A/B測試至少可以追溯到1908年,筆名為“Student”的 William Sealy Gosset 發明了 t-檢驗來確定 Guinness 用最好的大麥來釀造啤酒。他的方法允許對兩組進行統計學上嚴格的比較,以確定它們之間是否存在顯著差異。雖然這肯定有助于保持吉尼斯啤酒的高質量,但同時也創造了一個強大的工具,從音頻工程師,到直郵營銷人員,方便他們確定什么有效什么無效。

 

A/B測試在過去幾十年里得到了真正的重視和應用。大多數公司都已經認識到,互聯網是為A/B測試量身定制的:對應用和網站的更改快速方便,其影響可以輕松地通過點擊和注冊量化。

 

A/B測試已被用于測試從網站設計到免費送貨優惠到內衣模特吸引力的一切。你最喜歡網站的工程師可能每天都會A/B測試這些網站的某些部分,那么你在網站上的行為對于他們來說就是一種數據。甚至還有專門的 Google Chrome 擴展程序,識別出你正在訪問的網站的那些部分在做A/B測試。

 

一些企業發現,較小的設計更改,例如更改網站的背景顏色或按鈕的大小,可能會顯著影響客戶行為。 Google 對其工具欄測試了41種不同的藍色。雖然這可能看起來像是過猶不及,但對 Google 來說,點擊率的小差異可能意味著大量美元。

 

一些A/B測試數據

在幫各種各樣的企業在其網站上進行A/B測試的過程中, Experiment Engine 已經積累了大量關于人們如何使用這種統計測試的數據。 為了了解公司正在進行什么類型的測試,以及哪些測試顯示出真正的影響,我們觀察了由2014年底和2015年上半年進行的A/B測試組成的數據集。

 

我們發現最常見的A/B測試是設計更改(例如更改顏色或按鈕的位置)和文本更改(例如測試按鈕上方的不同文本)。 雖然設計更改是最常見的,但我們還發現,平均來說,它們對網站的影響比標題和文案內容要小一些。

 

當我們審查設計更改時,我們發現,對關鍵要素的位置和布局的調整,往往會產生最大的影響,特別是那些簡化和流線型網站。

 

公司都會進行什么類型的A/B測試?

我們的客戶進行兩種主要類型的A/B測試:設計更改和文本更改。 文本更改會測試網站上的文字內容或短語,無論是標題,段落,甚至包括按鈕上的“點擊此處了解更多”之類的文字。

 

設計更改包括對頁面的顏色方案和布局的更改,添加或刪除圖像和按鈕等元素,以及更改頁面的功能。

 

下表顯示了最常見的A/B測試更改類型。

 

大多數測試涉及設計更改,但少數至少包括對網站文本的一些更改。 “其他”類別主要由政策更改,由免費送貨優惠和退貨政策更改組成。

 

我們與各種網站合作,但大多數是電子商務,潛在客戶開發或內容公司。 我們很好奇這些類型的網站之間的測試組合如何不同。

設計更改在所有類型的網站中占主導地位,但內容網站特別喜歡測試設計更改。也許這些以媒體為中心的網站對他們希望展示的具體內容充滿信心,并且專注于尋找最具吸引力的展示方式。

 

潛在客戶網站將客戶聯系信息銷售給其他尋找銷售線索的公司,這些網站極有可能專注于測試文本更改。可能是因為讓用戶輸入他們的聯系信息需要清晰的價值主張而不是有效的設計。

不同A/B測試的有效性

所以A/B測試實際有效嗎?我們發現,所有A/B測試(我們現有的數據)的21.5%顯示出統計顯著的影響。雖然這看起來很低,但大多數與我們合作的公司會同時測試多個因素,因此大約有1/5顯示出影響,實際上是相當不錯的。

 

哪些類型的測試最常獲得重要結果?下面的圖表顯示了每種類型A/B測試的成功率。

網站文本的更改成功率最高,為26%。 也許這是潛在客戶開發網站正在做的試驗。上面的數據也表明在單一的測試中同時更改設計和文本不是好主意。

 

我們還想探討增量變化(例如 Google 對41種藍色的測試)或大刀闊斧的改革是否會產生更成功的測試。

 

顯然,激進的改變往往更加成功。 這可能是因為他們更有可能在他們背后有一個明確的假設,而增量變化更具投機性。

 

當公司測試“設計”時,他們測試什么?

最后,由于我們客戶的大部分A/B測試是設計變更,我們挖掘了公司正在進行的設計變更的確切類型。 下表顯示了最常見的設計更改類別。

 

 

到目前為止,最常見的設計更改是添加或刪除網站元素,如圖片,橫幅和標簽。 顏色變化占所有設計變化的18%,而元素的位置變化也很常見。 對表單,按鈕和網站功能的更改則很少。

 

我們還檢查了這些具體設計更改中哪些是最有效的。

 

 

位置和按鈕布局是最有影響力的設計更改。這兩個變化可能有助于訪問者更有效地瀏覽網站,因此它們產生最大的結果并不奇怪。

 

對顏色,元素和功能的更改影響不大,成功率在17%左右。 對表單布局的更改(訪問者在其中輸入聯系人信息)是最不成功的。 這可能是由于一旦用戶決定填寫表格,就不會被小設計問題勸阻。

好的設計有效

總的來說,數據表明A/B測試在測試網站文本和總體布局的相當激進的變化時是最有效的。設計更改側重于優化元素的放置,精簡用戶體驗可能會產生比調整顏色模式更好的結果。

 

作為一個網絡用戶,這是一個好消息。 當公司改你在網站上的體驗并撰寫清晰且引人注目的文本時,公司會看到最佳效果。 你可能更關心一個網站是否容易使用,而不管網站是否使用完美的藍色。

 

本文由 Zoran @ 吆喝科技?翻譯自:https://www.experimentengine.com/blog/2016/08/02/what-exactly-are-companies-ab-testing/

5418 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 河北福彩排七开奖结果 江西快3走势图前天 彩票大赢家七乐彩走势图 河南十一选五开奖号码 炒股第100天 南国彩票论坛41 点我98赚钱 大神棋牌娱乐官方下载 开源股票分析软件排行榜 平码几个意思