對移動端A/B測試的5個思考

A/B測試的理由很多,Facebook、Google、BAT、滴滴、美團……大公司都在做。但知道它們為什么做?怎么做?A/B測試有哪些方法論來指導最近實踐,讓我們來看點干的。

%e9%bb%98%e8%ae%a4%e6%a0%87%e9%a2%98-%e8%ae%be%e8%ae%a1%e5%88%9b%e5%bb%ba%e4%ba%8e%e5%88%9b%e5%ae%a2%e8%b4%b411

什么是移動端A/B測試?

A/B測試簡單講,就是我們同時對同一個網站的兩個版本進行試驗,測量關鍵指標,選出最優版本。移動A/B測試就是指把這個試驗用來對比優化移動應用。

 

通常為了將變量與測試結果相關聯,A/B測試一次只改變一個變量。同時改變多個變量的A/B測試我們把它叫多變量測試,或 MVT 。這些測試對于測量同一個頁面上的不同變量之間的相互作用是有用的,但必須精心設計,以找到有意義的相關性。

移動端A/B測試應該測試什么?

對于移動端,幾乎所有都可以(并應該)進行A/B測試。許多人認為只是粗淺的以為A/B測試只能用在設計變化上,比如調整登陸按鈕顏色等,這是不對的。理想情況下,A/B測試過程囊括比用戶界面元素多得多的內容。通常來說,移動端可進行A/B測試的包括:

對于 App 擁有者來說,如果你想優化轉化和內容,對每個變量進行測試都是有意義的。

從移動端A/B測試中能得到什么?

除了轉化率的明顯提升,關于為什么要對你的 App 進行A/B測試有一個很大的原因在于,A/B測試是確保你所做的更改不會意外的讓用戶體驗更糟糕的唯一方法。

 

我們從案例研究發現,比起提升轉化率企業應用更擔心的是產品崩潰等迭代風險。一個流行應用程序的A/B測試務必要確保必要的變化(如更新和升級)不對用戶體驗造成負面影響。這也是一款A/B測試工具好壞的評判標準。

 

對消極和積極影響的權衡評估會是優秀A/B測試平臺的重要組成部分。如果能提供雙邊測試,對A/B測試里積極的改變跟消極的改變同時觀測。比如,不必擔心一個推送通知增加了你的打開率,但同時也增加了應用的卸載率。具有雙邊測試功能的A/B測試會根據得到的全面的 App 表現來權衡決策。

 

在理想的情況下,我們可以認為一個改變能提升轉化,沒有任何后果,但在現實中,每一個變化都是權衡折中的結果。不知道你放棄了什么,是做不出好的優化決策的。

怎么做好A/B測試?

決定為你的產品進行A/B測試是朝正確方向邁出的第一步,但不是最后一步。還需要設計一個有效的測試,讓分析軟件來幫你分析。

 

通常,A/B測試應該是徹底的,花時間為你能想到的每個有意義的變量設計測試。優秀A/B測試平臺設計哲學的一部分是:發現你不知道你不知道的(通常來說知識或信息有四種類型,你知道你知道的、你知道你不知道的、你不知道你知道的、你不知道你不知道的,你不知道你不知道的對我們的價值可能是最大的)。所以需要平臺能顯示用戶在A/B測試中所有的統計顯著場景。即使一個變量對你似乎不重要,數據也可能會告訴你一個不同的故事,而這就是好的A/B測試工具的價值。

 

一旦開始A/B測試,就不得不考慮測試用戶群體細分,這取決于你的測試目的是什么。

 

如果打算發布一個新功能,最好把這個功能先發布給最忠實的用戶。你可以給這些忠實用戶發一些消息宣布新功能,并提供反饋渠道。他們更容易理解新功能,并能提供有價值的使用數據。

 

測試了部分用戶的反應之后,準備推出這個功能給全部用戶,這時候就可以給全部用戶發送更新消息。
另外,如果你正在做一個小的布局更改,你可以根據用戶使用頻次把他們放到不同的類別里,也許是不活躍的用戶對更新感到困惑(或反之亦然)。如果兩類用戶集中在一起的,你可能不會得到一個有意義的結果,因為它不會告訴你布局變化的好壞。事實上,所有用戶雜糅在一起,導致即使我們做了A/B測試,也得不出有效結果。所以,我們需要按用戶群體細分去做A/B測試,高質量用戶、留存用戶、低質量用戶、不活躍用戶,它們的行為是怎么的?這才是有效A/B測試的關鍵。

分類發現區別,區別找到差異,差異引爆增長,事實上 Facebook 、 Twitter 、Dropbox 等公司就是通過這種方式發現增長密碼的。這里可能會引出同期群分析相關的概念及實踐,感興趣可以參看我們的這篇文章:找到產品中的Aha moment,像Facebook一樣增長。

 

那么,準備好開始你的第一個移動端A/B測試了嗎?

 

吆喝科技:國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 測試服務的專業 SaaS 平臺。支持線上灰度發布、多維度數據統計分析、科學的流量分配系統、一鍵發布新版本無需應用市場審核、定向測試。

用數據幫助用戶優化產品,提升轉化、留存和你想要的一切。 AppAdhoc 用數據驗證最佳方案,提高產品設計、研發、運營和營銷效率,降低產品決策風險。

 

2875 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 大乐透今日迟丽颖杀号 湖南快乐十分下载软件 快乐十分任五中奖胆拖规则 三中三免费资料网址 三肖中特期期准下下彩 快3提前开奖软件 滕讯分分彩是正规的吗 老时时360查询 香港曾道免费资料大全 上海时时彩彩票