A/B測試杠桿:試驗的1%與意想不到的X%

AB測試

數據驅動總是說起來容易,或者聲稱培養了一種人們被授權為變革者和瘋狂的科學家的文化。

 

馬克-扎克伯格的建議是“Move fast and break things”。

 

但問題是怎么實現?如何將增長心態融入你的組織DNA?

 

根據我的經驗,最有力的方法是擁抱“1%試驗”哲學。之前的幾段創業公司經歷中,我一直在實踐數據驅動的方法——包括我當前的經歷,近距離接觸數據驅動方法。

 

數據驅動的方法是 Twitter 成功的核心,在其他敏捷、高度創新的企業中你也能看到類似的方法。

成為產品創新的核心

在 Twitter ,1%的實驗為產品研發,工程師,營銷或其他人提供了在1%的用戶會話中測試新想法的機會,只要實驗被精心設計結果能得到精確測量。

 

做的好,它會是主要的增長驅動因素,這是從一開始就改善Twitter用戶體驗的偉大想法,而不是自上而下的命令。

 

傳統測試傾向于強化傳統的孤島和官僚作風,采取1%的方式是關于用戶和員工的民主,將權利從決策者向下轉移。

 

這種方式鼓勵人們抓住主動性,共同努力,打破壁壘,個人的聰明才智與集體合作以最好的方式相吻合。

 

它強化了團結和共同責任,并使人們在創新和主動的基礎上自豪地工作在一起。

 

這是你在 Netflix 這樣的公司看到的,它促進了“自由和責任”文化,目的是吸引自我激勵的工作者,他們期望不斷測試新的方法來優化消費者價值。

 

Netflix 前個性化技術VP John Ciancutti 表示:“測試我們的產品想法,使我們不需要進行大規模的投入,就能嘗試激進或不受歡迎的想法。這允許最好的產品思考者根據真實的客戶價值建立記錄,讓我們從爭辯中建立共識,并實現最好的想法,幫我們避免“or”的風險,因為我們可以測試許多方法來解決我們面臨的最嚴峻挑戰。”

1%過程

這是經典的科學方法,實驗室中就采用這種方法。

網站數據分析
首先,建立明確的假設:被測試的具體理論或想法是什么?你認為什么是成功的結果?當你創建了假設,嚴格確保它以用戶為中心。

 

這種同理心讓你在測試想法的時候不會成為讓用戶或業務受益的旁觀者。

 

定義想法的成功指標,什么是使用的最具體、最相關的指標,什么結果將證明其可行性或價值?

 

要明確的是:在 Twitter ,強制實驗者鎖定這些指標阻止了“cherry-picking”和“HARKing”,他們只挑選支持其假設的指標,甚至更改假設以適應結果。

 

通過構建一個工作來演示它,以及衡量結果的測試框架。理想情況下,不同的團隊測試自己想法的時候,在整個組織中應用相同的框架,確保成本效益和一致性,

 

你可以創建自己的自定義測試框架,但也有很多現有的平臺,如 Appadhoc。

 

學習和迭代:支持你的實驗結果不會有任何有意義的指標變化的可能性很大。大多數實驗都可能會得到這些結果,但這是學習的過程本身。

 

所以準備多次重復實驗,你可能會發現初始想法的變量很有效,或不同的杠桿改變你的指標。都很好,因為這是所有的數據。

 

請記住:即使指標已經發生變化,也要繼續測試。繼續測試,直到發現推動你的想法的限制或約束。

 

Ship:如果你獲得有意義的積極結果,把你的創新推銷給組織,然后滿懷希望地見證它被釋放到更廣闊的世界。

 

重復流程:創建更多的想法,并使用你從最后一輪實驗中學到的來構建新假設。

實驗案例

Twitter的1%實驗中有一個叫“quote tweet”的功能,在創建初始假設之后,在確定最成功的變量——用戶今天使用的特征之前,測試了一系列的變量。

 

Twitter 上還有其他的很多變化都是從1%開始,然后推給全部用戶。比如從“favorites”(用星星表示)到“喜歡”(用心形表示),以及引入更大的創新,如狀態。

 

測試幾乎總會吸引一些用戶或媒體的憤怒或混亂,但創新的基本規則就是:有人會抱怨它。這種負面反饋是好的,能幫你了解變化的極限。

灌輸1%的心態

那么在組織中培養1%的實驗心態的關鍵是什么?

承諾:

如果你在軟件或服務行業,創新是一種生存工具,你的團隊是最好的創新資產。所以賦予他們1%的實驗哲學作為生存和繁榮的一種方式

設置預期:

確保每個人知道在實驗中采取手段是他們工作描述的一部分

代表團:

把創新的權限下放到整個團隊

教育:

確保他們接受了正確的方法培訓

工具:

給他們需要的資源和設備

承認:

獎勵人們進行實驗(即使它不成功) – 并將這種文化傳播給他人。

 

準備好以AB測試用1%的流量撬動X%增長了嗎?

 

本文作者:SparkPost CMO Josh

 

本文由吆喝科技編譯自:http://www.cmswire.com/digital-workplace/experiment-your-way-to-data-driven-success/

4587 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 手机彩票网址大全 福利彩票3b走势图一综合版 四肖中特期期準一 任选9场奖金模拟计算 香港赛马会资料官家.婆创富 老时时组六玩法技巧 香港曾道免费资料2019开奖结果 3d063期火炬胆码推荐 四肖中特2019年中特期期准一语中特 安徽时时骗了多少人