Ronny Kohavi:網站A/B測試測試七大準則

ab測試

Ronny Kohavi 曾任職于Bing 和 Amazon 等知名網站。現在越來越多的網站開始個性化,不過卻很少有人能像他一樣了解網站測試的內在機制,他之前在微軟擔任軟件服務分析實驗團隊總經理,在更早之前則是亞馬遜的信息挖掘團隊的負責人。

 

Kohavi 和他的同事 Alex Deng 、Roger Longbotham 以及Ya Xu 在 KDD 研討會上發表了一篇論文,記錄了他們在網站測試上的七個準則,而這些準則來自于作者們過去在 Bing 、 LinkedIn 、 Booking .com 以及其他公司所獲得的經驗。

 

網站實驗(Website experimenting),指的是測試網站上的一些小的改變,幫助網站所屬的組織可以做出更好的決策。盡管像 Facebook 這樣的網站測試結果通常不太如意(新版表現得比舊版還糟,以至于改版取消), Kohavi 認為用戶測試仍然是確認任何網站所做的改變是否做對了的最有效率方式。他相信在推出一個網站改版之前,先用一小群抽樣的使用者來測試會比較好,否則如果那個改變并不受歡迎,就等于冒險一下子讓所有的使用者都獲得不好的用戶體驗。

 

以下就是 Kohavi 與他的團隊所揭露的七條網站A/B測試準則:

1. 小小的改變就可以對關鍵指標有所沖擊。

Kohavi 說:「在軟件領域,發布的時候有 bugs 是很正常的。對我們來說,常常發現我們認為很小的改變,但因為有一個Bug,實際上卻造成很大的負面影響。」舉例來說,有一次 Kohavi 對 JavaScript 的代碼做了一點改變,并且用了10% 的人來做測試,結果當使用 IE 7 的時候,卻無法點擊任何一個連結,那是一個非常糟糕的體驗。

 

但是好的改變也有, Kohavi 舉了他們在2004 年對 Amazon 所做的小改變就是把信用卡的優惠從首頁移到付款頁,并且加上文字描述,告訴消費者如果用 Amazon 的信用卡登入的話,可以省下多少錢。因為這個改變,每年多賺了好幾千萬美元。

 

2. 改變很少能對關鍵指標有巨大的正面沖擊。

微軟的團隊說,任何一個網站的測試,想要產生巨大的沖擊幾乎是不存在的。但是,小型的改變可以逐漸被累加起來。像是 Bing 搜尋引擎就是日復一日的小幅調整所完成的。

 

3. 每個人的里程數不同。

在網站測試上,很重要的一個觀念就是,在一個網站上很管用的一招,用在另一個網站未必有效。要注意的是,測試的結果并非總是可信的,因為人們偶而會出現欺瞞的舉動。

 

4. 速度很重要。

速度其實比什么都重要,用戶會在意他們所訪問網站的速度。 Kohavi 說:「我們在 Bing 做過一次減速測試,那時候我們讓使用者的訪問速度以很輕微的比例減慢,看看這會對我們的關鍵指標造成什么影響?我們大概只減緩了 100 到 200 豪秒,而造成的影響卻非常的巨大。以 Bing 為例,每加速 100 微秒,就可以增加 0.6 % 的收入。」

 

5. 減少用戶放棄的行為是很難的,但是讓使用者改變點擊是簡單的。

要說明這個現象有點復雜,不過大致上來說,如果你要用戶在一個網頁上多點幾下,是很困難的事情,但是如果你要用戶點擊同一個頁面上不同的地方,就簡單多了。Kohavi 舉例,當 Bing 移除了超過一千萬個用戶搜索引擎右側的相關搜索,經過實驗,頁面的點擊數量卻幾乎一模一樣。用戶下意識地把原本右側相關搜尋的點擊散布到頁面其他的地方去。

 

6. 避免復雜的設計。

Kohavi 和他的同事們堅信,對于網站測試來說,越簡單越好。他說最好的測試就是只有A/B。不管是A/B/C或A/B/C/D甚至更復雜的測試,對于組織來說都沒有顯著的效果。其中一個例子就是他們在 2013 年幫 LinkedIn 測試搜索引擎的更換,有多重因子的復雜測試,讓他們在試圖找到搜索引擎上有沒有什么是用戶討厭的功能時,遇到了很大的困難。最后只能簡化測試,才能找到 LinkedIn 新的搜索引擎有哪些功能會讓使用者失望。

 

7. 要有足夠的樣本量。

這一個準則也是最難的一個。如果沒有足夠的樣本量,就幾乎不可能得到準確的結果,然而到底要多少樣本用戶才夠?則取決于要測試的因子有多少。

 

本文由吆喝科技編譯。

 

吆喝科技:國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 測試服務的專業 SaaS 平臺。支持線上灰度發布、多維度數據統計分析、科學的流量分配系統、一鍵發布新版本無需應用市場審核、定向測試。

用數據幫助用戶優化產品,提升轉化、留存和你想要的一切。 AppAdhoc 用數據驗證最佳方案,提高產品設計、研發、運營和營銷效率,降低產品決策風險。

4321 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 快乐飞艇开奖历史结果 黑龙江快乐前三组走势 球探比分即时nba足球比分 星彩网3d 甘肃快三今天预测 中国福利彩票快乐12走势图 吉林时时玩法规则 一肖中特公开威up 双色球19070预测杀红 500彩票计划群有哪些