5億用戶的墨跡天氣如何用A/B測試實現分享率18%提升 | 最佳實踐

“嗯,這次安卓平臺的分享圖標變得和iOS平臺的一樣了,我覺得挺好的,提升了不少逼格,現在每次打開APP看天氣或者新聞時,都有種莫名點擊右上角去分享的沖動哈。”

 

“整體布局變得更流暢了,看新聞或者看具體預報可以同時在首屏完成,現在我很少開其他新聞類APP,有時候看天氣時候順便就在這里里看看新聞了,挺方便的。”

 

以上是墨跡天氣在前陣子發布6.0版本更新后,安卓平臺的產品經理 Moke 做回訪時收到的用戶反饋。

%e9%bb%98%e8%ae%a4%e6%a0%87%e9%a2%98-%e8%ae%be%e8%ae%a1%e5%88%9b%e5%bb%ba%e4%ba%8e%e5%88%9b%e5%ae%a2%e8%b4%b4-4

作為目前國內提供最專業、最穩定的天氣查詢服務的生活類應用,墨跡天氣始終將用戶體驗作為產品迭代中的首要考量,經歷了幾次改版之后,產品中逐漸添加了更多促進用戶互動以及與生活息息相關的服務內容,進而不僅僅再是一個簡單的天氣查詢工具,成為了用戶生活中的一部分。

 

這次6.0的版本更新花費了他們的大量心血,它包含了很多新增的服務欄目以及優化體驗的細節,為了追求極致的用戶的體驗,他們在上個季度,幾乎把所有運營和研發資源都放在完善這個版本的工作上了。

 

“這次版本迭代后的用戶反饋基本符合我們之前的預期,在全面完成這個版本的數據分析后,我們應該可以發現更多可以優化和提升的元素,到時候我們還是照例根據已經定好的流程去做評估,之后會約數據團隊的同事討論哪些優化元素可以通過A/B測試去驗證。” 似乎對于產品的負責人來說,這個版本的所取得成功在發版之前就已經可以確認。”

至于為何他們可以這么自信,還要追溯到當初他們和A/B測試的那段姻緣。

 

“在你的用戶量級積累到日活千萬級別的程度時,在產品迭代的時候就需要非常小心了,因為一個微小的改動,往往會帶來巨大的用戶影響,那個時候,用戶反饋也不能完全做參考,很有可能一個提升這部分用戶的改動,卻帶來了另一部分用戶群體的流失。”

 

“在這個階段,A/B測試的引入是非常有必要的,除非你想閉著眼睛撞大運。我們之前和國外的 Optimizely 以及 VWO 都有有過深度溝通,但是他們的價格太貴了,也沒有本地化的服務。我們也嘗試過自建一套系統,但是在嘗試了一段時間之后就放棄了,因為涉及到統計算法的話,需要考慮的問題實在是太多了,在搭建過程中會有很多額外的成本;國內要能有做AB測試的第三方服務商,我們一定會嘗試。”
這是我們做用戶回訪時,來自墨跡管理團隊的反饋。

 

和吆喝科技一樣,墨跡天氣一直都是數據驅動決策優化的追隨和實踐者,無數據,不增長。作為 AppAdhoc 早期種子用戶之一,墨跡天氣的管理層在接觸 AppAdhoc 之前就對A/B測試有了一些了解;他們當時一直在尋找第三方的服務商,在了解 AppAdhoc 公開招募種子用戶后,就第一時間注冊試用了。

 

和所有首次接觸A/B測試的用戶一樣,墨跡的產品以及研發團隊在最開始并不太了解A/B測試具體是什么,更不用提它對產品增長有怎樣的含義了;但是管理團隊當時最擔心的并不是這些問題,而是他們的技術團隊是否可以順利創建第一個A/B測試并完成代碼層面的集成工作。
“當初的擔心看來都是多余的,你們的CSM團隊在最開始就介入了,他們專業的服務完全打消了我們的顧慮,從前期的理論知識培訓、業務對接,再到SDK集成,試驗落地,整個試驗周期中,他們幾乎整天都在和我們的產品和技術團隊一起協作,這大大減少了我們在前期的學習和試錯成本。”

 

在完成了一些簡單的試驗后,墨跡的產品團隊逐漸看到了A/B測試的價值;通過 CSM 團隊的培訓以及案例分享,他們也學習到了很多寶貴的實踐經驗;在這之后,他們開始嘗試將大家之前爭論的產品元素做成試驗假設,讓數據去驗證誰的想法是被用戶認可的。

 

在當時,他們印象最深的就是一個關于安卓應用分享圖標的試驗。在這個試驗中,他們發現了一個非常有意思的現象:如果將安卓版的分享的圖標換成蘋果風格的話,分享率會比其他版本提高近18%!

灰度發布

試驗里包含了目前線上版本的圖標,另外還選了三個樣式進行測試,試驗版本通過改變分享圖標提高用戶在端內的分享率。從最后的分享數據比例看,方案 3 是獲勝方案,更容易獲得用戶的點擊。比控制組方案 1 提高了 近18%的分享率。

 

墨跡目前是千萬級別的日活,這個提高帶來的,可不僅僅是分享率這個數據的增長。

 

“看來安卓用戶對蘋果風格的分享圖標也有著獨特的情懷啊。”墨跡的產品團隊在看到這個增長后,很是興奮。

 

然而,在產品和技術團隊專注測試的同時,管理層也看到了新的問題:由于沒有固定流程和長期的試驗規劃,每次試驗感覺都不是沿著一個規劃好的方向去進行的,試驗完成后雖然拿到了用戶認可的版本,但還是覺得缺了點兒什么。

 

如何將A/B測試完整融入到產品迭代流程中呢?

為了可以盡快幫助墨跡將A/B測試融入整個產品迭代的流程, AppAdhoc 的 CSM 團隊在深入了解各個部門的分工后,給出了自己的建議。
在之前的分享活動中,各個部門都對A/B測試有了一定的了解,而且流程中的角色,也是按照各自的分工去定義的,所以這個流程很快就落地執行了。現在,每次發版之后,各個業務線的產品經理都會在數據分析時和數據增長團隊的同事進行討論,看看哪些環節適合通過A/B測試去驗證;確定之后,研發團隊根據產品排好的周期,按照標準的文檔去做代碼集成。如果有同學想了解之前的試驗數據,公司的內部網絡也有詳細的歷史數據和試驗方案提供參考。

 

“A/B測試最大的價值,就是每次發版時候不用再提心吊膽了。因為在發版前,用戶已經告訴我們答案了。”

——墨跡數據增長團隊負責人 Charles

 

這就是為何他們可以這么自信。

 

其實我們回過頭來看,任何重視用戶體驗和精細化運營的產品團隊都可以復制這個模式。

 

我們先來回顧一下流程中角色:

 

A/B測試的管理方:如果你有像墨跡天氣那樣獨立的數據驅動團隊,那他們是承擔這個角色的不二人選;沒有也沒關系,產品經理或者運營也可以承擔這個角色,它在整個測試過程中主要負責試驗計劃管理、數據解讀、協調內部資源等。

 

A/B測試需求方:一般由產品經理擔任這個角色;產品經理在定期的數據分析和需求評估時,都應該可以發現一些產品提升空間,如果在其中某個產品元素的討論上大家各執己見,那么就可以通過A/B測試去進行驗證。

 

代碼集成方:既然是和 SDK 和代碼相關的工作,交給研發團隊就沒錯了。

 

試驗調試與技術支持:AppAdhoc CSM 團隊會幫助你解決在測試過程中出現的任何問題。
了解完各自分工后,我們可以結合下圖理解每個角色在整個流程中所負責的工作:

A/B測試需求方(產品團隊)在做數據分析或者需求評估時,確認產品優化方向以及產品改進建議。

 

CSM團隊提供專業性建議,幫助A/B測試需求方確立哪些因素可以通過A/B測試去優化和驗證。

 

試驗方案確認后,A/B測試的管理方根據產品排期,確立A/B測試項目實施計劃與相關日程。協調技術團隊進行A/B測試方案的研發和SDK集成,以及包含測試代碼應用的發版工作。

 

A/B測試的管理方按照計劃管理試驗進度、在試驗過程中與CSM團隊保持有效溝通,在試驗后期進行數據解讀;之后將產品迭代的可行性建議回復給A/B測試需求方,作為正式版本迭代前的最終參考。

 

將通過A/B測試驗證的版本,直接在AppAdhoc A/B測試平臺推送給所有用戶,如果有單獨的發版計劃,也可以把它放到后續大版本迭代的更新計劃中。

 

把這個流程結合產品迭代循環利用起來,你的產品,也可以這么自信。

 

本文作者:吆喝科技客戶成功專家傅禮陽。

 

吆喝科技:國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 測試服務的專業 SaaS 平臺。支持線上灰度發布、多維度數據統計分析、科學的流量分配系統、一鍵發布新版本無需應用市場審核、定向測試。

用數據幫助用戶優化產品,提升轉化、留存和你想要的一切。 AppAdhoc 用數據驗證最佳方案,提高產品設計、研發、運營和營銷效率,降低產品決策風險。

5510 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 时时走势图360度 江西快三49期走势图 香港马会网址大全2017 网络游戏牛牛挂 足彩开奖一般在几点 jj斗地主官网下载 新疆时时结果全部 山西快乐十分任四计划 遇到彩票托怎么办 梭哈的基本技巧