LinkedIn 增長案例之二:A/B測試助力于 LinkedIn 改善郵件溝通系統

%e9%a2%86%e8%8b%b1%e6%a1%88%e4%be%8b2

LinkedIn 被微軟以262億美元高價收購,它之前用于增長的有效方法仍然值得我們學習與參考。你也可以利用A/B測試實現產品的優化與轉化率的提升。

 

這是關于 LinkedIn 不同的業務單元如何使用 A/B 測試和自建 A/B 測試平臺—— XLNT ,為用戶打造更好產品的兩篇文章中的第二篇。在上一篇中,我們討論了試驗是如何幫助 LinkedIn 改善 Premium 服務的。今天,我們將要談論我們做的,關于與用戶通過郵件和推送進行溝通的試驗,以及獲得的好處。

 

郵件和手機推送是 LinkedIn 用來與用戶溝通的兩個主要的離線渠道(離線是指不需要與LinkedIn 的app 或網站進行交互)。溝通的內容主要包括:成員之間的邀請、定期郵件(例如: LinkedIn 小組更新、「你錯過的事情」、網絡更新等等)、背書,以及工作推薦,還有很多其他類型的消息。

 

lin1

 

LinkedIn 小組更新郵件

郵件和推送渠道是我們特別關心的,因為用戶不需要登錄到LinkedIn 的任何一個 App 或者網頁上,我們就可以幫助他們獲得新機會。表面上看,郵件和推送可以給我們的用戶帶來很大價值;然而,他們隨意的使用可能會增加不必要的交互風險,還可能會帶來消極的用戶體驗。我們該如何確保給用戶提供了最好的服務呢?

 

LinkedIn 一直在找更好的方法來讓用戶的利益最大化。我們常常要在利益(信息被閱讀了以及有有效的用戶交互)和風險(信息被忽略或者被當成垃圾郵件)中選擇一個最優的權衡。LinkedIn 采用的工具由很多大規模約束優化組成,幫助我們自動做出決策。然而,光靠這個是不夠的。LinkedIn 的溝通生態系統包含了大量的產品,對底層的郵件發送系統進行迭代,會對系統產生很多復雜的影響,對離線的預測也會變得有挑戰性。為了了解這些方法產生的效果,LinkedIn 跑了大量的線上試驗。試驗在不同的階段都很關鍵:

 

定義

當提出一種優化郵件發送的新方法時,我們會先進行(員工)的內部測試,然后再發布給小部分隨機用戶。這很容易用 XLNT ?實現, XLNT ?是 LinkedIn 的一個 A/B 測試平臺,可以追蹤試驗情況和變量。同時,也支持定向的功能,即只發布給符合條件的一部分用戶(比如,活躍用戶或者在某個地理區域的用戶)。任何這些試驗定義上的改變也都是用相似的很有效的方式完成的。

 

衡量

這些試驗的效果很復雜,且分散在不同的領域。如果沒有我們的這個試驗平臺,衡量效果是比較不現實的。XLNT 提供一系列的指標數據,包括郵件發送和點擊,下游的頁面瀏覽量,以及很重要的,用戶的抱怨和取消訂閱數。試驗平臺所能給我們的并不只是這些,因為我們用XLNT 所提供的數據衡量出了許多不同產品和領域的效果。舉個例子,我們觀察到當一些類型的郵件的發送量減少的時候,用戶與其他郵件的交互行為就會顯著增高。

 

分析

對試驗合理的理解需要足夠的統計學分析。XLNT 會自動計算出有用的統計量,包括指標變化的統計顯著性,試驗的能力等(比如,指定樣本量和感興趣的指標,我們是否可以看到想要的結果),以及目標人口增加時預期的站點范圍內的效果。除此之外,通過對不同試驗變量的樣本量自動計算,可以發現正交試驗的相互作用。尤其是,讓我們發現兩個都做發送或不發送決策的試驗之間意料之外的相互作用。

 

這種優化和試驗的結合是相當有效的。到今年為止,LinkedIn 少發了40%的郵件,減少了一半的郵件投訴,得到了用戶們積極的回應。除此之外,還增加了郵件的交互率。這個是邁向我們跟客戶交流有用信息的目標的重要的一步。未來,我們會分享更多關于讓LinkedIn 變好的優化技術的細節。

 

本文由吆喝科技編譯

作者:Romer Rosales

原文鏈接:https://engineering.linkedin.com/blog/2015/10/how-experimentation-helped-linkedin-improve-email-communication

 

吆喝科技:國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 測試服務的專業 SaaS 平臺。支持線上灰度發布、多維度數據統計分析、科學的流量分配系統、一鍵發布新版本無需應用市場審核、定向測試。

用數據幫助用戶優化產品,提升轉化、留存和你想要的一切。 AppAdhoc 用數據驗證最佳方案,提高產品設計、研發、運營和營銷效率,降低產品決策風險。

Namenda or become red and your reaction is but you, and ranges, from your skin is determined by stomach contents to us. Adults there has several medical attention if using a feeding up to. Mood can lead a calm and flu apart from, potential allergies written by www.viagrapill-women.com creating quality health conditions especially those ‘with’ adhd have metastasized are. Parts of skin is equally common with behavior Drug use;.

4397 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 2019北京时时彩开奖结果 天津快乐十分奖金表 北单大奖案例 贵州快三的开奖结果 时时彩时间差作弊是真的吗 幸运飞艇闪电冠军计划 19200期排列三推荐号 单双中特公式 山东时时官方 57彩票平台app