通過A/B測試我們如何把戶流失從2.3%降低到0.5%

和所有的 SaaS 公司一樣,我們一直都在處理持續、惱人、不斷的流失,這個過程就像看到有人沒擰緊水龍頭。2.3%看上去是我們可以接受的流失率。雖然這個數字沒什么好夸耀的,但多少還能夠有些優化的空間。

降低流失率是我們自己設定的目標。但是沒有設定確且的目標,因為這幾件事情還沒有搞清楚:

1.為什么客戶會流失?

2.是內部原因、外部原因或兩者都有?

3.它可以解決么?

4.考慮到所有上述情況,需要多長時間來解決它?

 

第一件事情就是是完成 SaaS 公司通常都會做的研究,不論成功與否,以減少客戶流失為目標。和其他的話題類似,網上關于如何減少客戶流失的鋪天蓋地的內容不那么可信。

 

長話短說,我們嘗試多種降低流失的最佳實踐。都沒有用,是時候去探尋更深層次。

性能表現和滿意度偏差

我們注意到, 合同為期一年的客戶是我們主要流失客戶 。這是令人鼓舞的,同時又令人失望。令人鼓舞的是,這意味著客戶沒有主動離開,令人失望的是,它告訴我們,在某些情況下我們沒有足夠的吸引力爭取續約。

 

現在是謙虛好奇的時候。如果客戶在試用期間和最初的幾個月對我們的產品滿意,為什么他們的滿意程度會隨時間下降?我們的產品是自動化且基于算法的,按理說它的性能表現應該前后相同。事實上,它的性能表現還會因為算法的機器學習時間而提高。

 

這是我們第一次靈光一現,產品的 性能表現和滿意度之間的相關性往往隨著時間發生偏差。我們讓客戶成功團隊做更深的探索;揣摩顧客為什么隨著時間的推移滿意度會下降。

 

客戶成功人員發現令人大跌眼鏡的結果:客戶認為我們的產品的影響并不像開始那么顯著,我們產品帶來的業務價值隨時間遞減。

 

這就像和一個真正美麗的女人或一個非常英俊的男人約會一樣。起初,你肯定對她的容貌嘆為觀止,但一段時間之后就感覺一般;但她依然還是像幾個月前那么美麗。一切都是因為你習慣了,一旦習慣之后就不再給我們留下深刻的印象。

感知與真值:導致流失的差距

這里有一個等式:在我們的感知價值和真正的價值之間存在差距,這個差距隨著時間的推移不斷擴大。這個差距就是我們的客戶流失的主要原因。那么 SaaS 企業應該怎么辦?那就是找到彌補差距的辦法。

 

客戶成功人員從客戶那帶來的反饋,“我們怎么還能知道是你的產品帶給我們價值?

 

另外,“我們開始看到您的產品所帶來的的影響,現在我們卻不能確定了。”

 

我們調取這兩家公司的相關使用數據。這是其中一家:

itemeditorimage_57ff6f1751495

這立刻正確證實了我們的價值差距理論 。這家公司從我們的算法的性能表現中受益,但依然是不完全相信我們的產品是值得花錢投入的。

 

在這一點上,我們認為我們可以很快搞定這件事。我們把這張圖發給對方,并告訴他們:轉化率在過去九個月穩步增長,這是我們當初承諾我們的算法所能帶來的。

 

他們的反應出乎我們意料,“是的,但你怎么知道這是源于你的算法?我們做了大量的市場推廣,轉化率提升可以歸結于此。“

我們怎么能知道他們是絕對100%正確的?

弄清事情真相的最快方法

在該客戶的網站上運行我們的一個算法,以加深用戶參與度和提高訪客到線索的轉化率。該算法首先“學習”網站的內容資產(應用文字和語義分析),然后實時分析訪客行為,在自然瀏覽最合適的時間點推薦最相關的內容。

我們通過兩件事衡量:

1. 用戶參與度

2.轉化率

 

這是一個簡單直接的事情(或我們認為是簡單直接的)。我們插入一行代碼到網站,客戶可以看到用戶參與度和轉化的提升,這些能夠保持并略有增加。隨著時間的推移,皆大歡喜。

 

“你怎么知道這是由于你的算法帶來的?”

1.一旦起初的用戶參與度和轉化提升消失,客戶把新的數字作為業績比較標準,基本上就忘記使用我們產品之前他們的網站表現.

2.我們知道 這是由于我們的算法帶來的,但是我們不能給客戶證明這是我們帶來的。

 

分離你的產品帶來的提升然后呈現它

可能解決這兩個問題的方案是在我們算法的實施之前和過段時間之后分別將客戶的網站的性能表現記錄下來,這樣能夠在客戶忘記我們的作用時,提醒客戶。該解決方案因為兩個原因站不住腳:

1.小家子氣,有失尊嚴。難道還需要開發專門提醒客戶的應用?

2.沒有考慮時間的推移和客戶其他營銷和CRO工作的效果。

 

進一步探尋解決方案。我們只需要分離出產品對于網站性能表現的影響,并能提交給客戶就可以。從價值的角度來看,我們必須找到一種方式來證明產品為客戶在持續的基礎上提供某種程度上無可非議的價值。

網站上的最佳分離表現性能和衡量的方法就是A/B測試。所以,如果著陸頁足夠好的話,我們沒有理由不在大量頁面或者網站中應用。

 

價值證明

以下是我們如何把產品的價值證明給我們的客戶:我們會在一個連續的 A/B 測試模式下運行我們的算法,有和沒有我們的產品。這客戶將能夠看到,在所有的時間,我們的產品對其網站用戶參與度和轉化率的影響。

兩個問題:

1. 我們只讓一半的網站的訪客在我們的算法下,因此不能最大限度地發揮我們自己的產品的性能。

2. 如果根據客戶的報告,我們發現價值沒有達到預期,怎么辦?

 

為了解決第一個問題,我們在保持統計顯著性情況下分配盡可能最低的對照組(B模式,沒有使用我們的產品),同時確保我們的算法達到最大效果。這取決于每個站點的流量,試驗占整體流量的5%至1.5%。這樣,客戶可以在任何時間點看到其網站在沒有我們產品的情況下的表現。

 

他們可以親眼看到,如果他們選擇終止合同,網站的用戶參與度和轉化率就會立即下降。(我們并非在賣弄。這是我們發現并證明產品持續帶給客戶價值的方式而已。)

 

在控制面板中是這樣體現的:

a12345

老實說,要證明第二個問題更加難,而且更可怕。不是每個公司每天對所有客戶進行如此嚴格的,量化的測試。針對這些客戶,我們會無計可施。

 

看光明的一面,這將推動我們作為一家公司,以改善我們的表現。除了有了這個級別的透明度,你別無選擇。
既然你正在閱讀此文,假設它奏效是正確的。在A/B測試模式下運行我們的產品四個月,我們把客戶流失率從2.3%降低至0.5%。

 

最重要的是,A/B測試模式成了我們最有效的銷售工具,并成為在客戶公司內部展示我們價值的寶貴工具。可以說,我們為市場營銷部門提供了一個說服CFO批準預算的有力論據 …在試驗期間,我們在50-50模式下運行A/B測試,提供我們的產品所帶來影響最清晰簡單的衡量。正如前面提到的,一旦客戶和我們簽約,我們調低對B的比例最低的統計顯著,以確保我們的算法的完整效果。

 

我們有一個恒定不變的事實,站點和平臺(即所有的客戶)正在進行的A/B測試的事實使我們的算法不斷提高。通過這樣做,我們給當前和未來客戶提供了一個穩步增長的附加值,使得我們可以互相受益,我們創建了一個自增長的系統。

 

整個過程中,我們的討論從定價到價值和 ROI 轉移。這正是我們想要的,我們感覺最舒適,自信和相關的。

 

本文由 mili @ 吆喝科技編譯自:http://hub.brightinfo.com/h/i/294710367-how-we-reduced-churn-from-2-3-to-0-5-using-a-b-testing?utm_campaign=Submission&utm_medium=Community&utm_source=GrowthHackers.com

 

吆喝科技:國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 測試服務的專業 SaaS 平臺。支持線上灰度發布、多維度數據統計分析、科學的流量分配系統、一鍵發布新版本無需應用市場審核、定向測試。

用數據幫助用戶優化產品,提升轉化、留存和你想要的一切。 AppAdhoc 用數據驗證最佳方案,提高產品設計、研發、運營和營銷效率,降低產品決策風險。

3541 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 AG电子游戏的爆分技巧 6码2期倍投计划表 apk文件怎么下载 通比牛牛作弊 单双玩法技巧集锦 pk10计划软件公式 时时彩毒胆五星 快络牛牛上下分 体彩大乐透短信投注方法 炸金花百人场技巧