全數據驅動產品優化,美國互聯網公司A/B測試經驗分享

m1

主講嘉賓:吆喝科技CEO 王曄

嘉賓簡介:王曄,北京吆喝科技有限公司CEO,清華和耶魯校友,曾在Google美國總部負責廣告產品的創新和研發,對A/B測試系統、大規模復雜系統、數據挖掘和分析、互聯網基礎架構有深入研究,曾發表過多篇計算機科學論文,擁有多項國際專利。

公司簡介:吆喝科技是致力于發掘移動產品真正潛力的創業公司,核心團隊來自 Google 等世界500強公司,已獲得國際頂尖投資機構融資。

AppAdhoc 是吆喝科技獨立開發的一套以 A/B 測試為基礎的數據優化平臺。“頂級的 PM 也只能跑贏一半的 A/B 測試”,我們希望通過引入 Google 全數據驅動產品優化的理念,用數據幫助開發者做產品決策,避免無數據決策的產品風險,提升產品潛力。同時 AppAdhoc 優化平臺也可以幫助開發者用數據優化移動廣告,讓流量的變現價值更大。

王曄:大家好,我是王曄,吆喝科技的CEO,也負責技術。我和大家一樣是技術出身,喜愛動手,喜愛創新。我在清華和耶魯讀書的時候參與過中國下一代互聯網(CNGI)和網絡App流量優化(ALTO)等大型項目,和國際國內的很多互聯網企業有過技術上的深入合作。我在耶魯、微軟研究院以及NEC北美實驗室參與過多項技術創新課題,積累了寶貴的經驗。

在回國創業之前我在Google總部AdWords部門工作,負責過多個成功的廣告新產品。Google廣告產品的每一個新改動都是要經過嚴格的在線A/B測試來驗證效果,在保護用戶的搜索體驗的同時提高廣告的轉化營收。這種科學的開發和運營方式可以大幅度加速創新,改善用戶體驗,對互聯網企業事半功倍。

我回國后和吆喝科技的同事們一起創業,在A/B測試這個技術領域內繼續不斷創新,希望我們的技術能夠服務和幫助國內的廣大開發者們,和大家共同成長。

為什么選擇回國創業呢?什么樣的契機開始了創業之旅?

王曄:大勢所趨,這幾年移動互聯網呈現指數級發展,現在移動App已經全面超越PC Web。這個發展勢頭在全球范圍內如此,在中國則更加迅猛。在今天的移動互聯網市場環境下,中國的創業企業可以做出與國際大企業一樣巨大的貢獻。同時,移動互聯網技術本身仍然處于早期,有無限多的革新可能,可以創造出無限多的商業可能,這對于我們技術人來說是一個歷史性的機遇。

創業建立吆喝科技,我個人覺得我們團隊的技術積累,特別是在大規模A/B測試上的豐富經驗,可以幫助國內的開發者,特別是新一代的敏捷開發高速迭代的移動App開發者,提高設計、研發、運營、營銷的效率。更進一步,基于A/B 測試的產品優化服務,我們可以參與到迅猛增長的移動廣告,電商,游戲市場。A/B測試如同GitHub、Docker、APM一樣在美國市場已經被各類企業逐漸采用,相信在中國也能被廣大開發者所接納。我們希望幫助國內企業用數據來驅動自己的產品優化,造福廣大移動用戶。

去年我在國內尋找到了很多有著共同理想的有情懷的小伙伴,大家愿意一起來做這件事情。再加上國家政策到全社會的支持,對我們技術人創業是一個很好的機會。

談談現在吆喝科技的發展情況以及團隊構成情況。

王曄:我們吆喝科技目前尚處于創業早期。我們的產品AppAdhoc Optimizer是基于A/B測試的優化平臺,今年4月全面上線,目前已經有幾十家試用客戶。

我們是一只熱愛技術,經驗豐富,專業性強的小團隊。我的兩位合伙創始人張毅飛和王冉分別對互聯網精細運營以及移動營銷有著多年經驗。我們目前有十幾位工程師和幾位運營和客服,正在廣泛招聘中。我們熱烈歡迎對全棧技術,大數據,移動端感興趣的大牛們加盟,共同推動移動互聯網進入全數據驅動的產品優化。

舉例從具體的應用場景介紹一下吆喝科技提供的產品服務特點?與同類型產品服務相比,技術與產品優勢體現在哪些方面?

王曄:用一個電商App的場景作為例子。電商App集成了我們的SDK之后,就可以在AppAdhoc Optimizer控制臺創建很多“測試版本”,每個測試版本可以嘗試不同的UI設計和文案。客戶可以在控制臺管理不同測試版本的試驗運行狀態、流量分配以及查看詳細的數據報告,并選擇發布效果更好的測試版本。

m2

拿這個例子來說,假如這個App有100萬在線用戶,通過控制臺可以控制這些用戶看到不同的測試版本。假如其中50萬用戶看到左邊版本,產生了10萬購買;另外50萬用戶看到右邊版本,產生了40萬購買。這個試驗數據說明右邊版本產生的轉化率更高,可以通過控制臺將這個版本推廣到所有100萬用戶。

m3

說到產品的特點和優勢,吆喝科技在A/B測試引擎的流量分割方面下了很多功夫,可以盡量保證試驗用戶流量的代表性和試驗數據的準確性,同時支持試驗流量動態控制、多變量組合試驗、大量并行試驗、針對特定人群的定向試驗等。

我們的SDK不僅支持Web(HTML5)端A/B測試,還支持原生移動App(iOS, Android)端和后端的A/B測試。我們的云控制臺簡單易用,試驗數據清晰細致。對比而言,吆喝科技的技術和產品目前在國內是領先的,在國際范圍內也是很有競爭力的。

用數據做產品決策

該如何理解“全數據驅動產品優化”的理念,能否詳細談談“用數據幫助開發者做產品決策”?

王曄:移動互聯網的產品經理和工程師在設計和開發產品時,會更多的從C端用戶的需求出發做產品優化。需要強調的是,對用戶行為的深度理解,很難僅僅依靠決策者的個人洞察力。有些經驗只有通過科學的A/B測試的試驗數據才能獲得。

caf

用Microsoft Bing的一個產品改動作為例子。右版和左版相比,只是顏色做了一些小調整(CSS里幾行改動),人眼幾乎看不出區別,但是用戶點擊率大幅度提高,年化收益增加了1000多萬美元。在Google,類似的優化案例時常發生,而這些優化是完全由試驗和數據來推動的。

小到顏色調整,大到產品邏輯,都可以通過數據來驅動產品的優化。

m4

用Amazon的信用卡廣告作為例子,這個廣告最初放在購物頁面里,幾乎無人問津,而且浪費了寶貴的廣告位;當產品經理嘗試把這個廣告放在結算頁面時,用戶就會發現這個信用卡的好處,A/B測試的試驗數據顯示這個改進會帶來年化上億美元的營收增長。產品經理以數據證明了自己的成功。

全數據驅動(Data Driven)的產品優化理念就是為產品優化確定可以量化的“優化指標”,進而通過A/B測試這樣的科學試驗手段來大膽嘗試各種改進,由試驗數據來決定哪種改進更好。

要注意的是,試驗數據如果不進行充分的分析可能帶來不正確的決策

比如電商App的新設計里強調了商品價格,結果導致用戶點擊率下降一半!這說明這個改動是不好的么?不一定,因為有可能點擊商品的用戶的購買轉化提高了2倍以上。也就是說,新設計的商品信息對用戶更加有用了,反而可能增加營收。

另外,閱讀數據要全面,要避免以偏概全或者以全蓋偏的問題。例如,如果App用自己公司的員工做試驗,得到的試驗結果未必能推廣到全體用戶。

再例如,試驗結果顯示新版本比老版本提高了0.2%,微不足道;但是可能對城市里的年輕女性iPhone用戶來說,新版本比老版本提高了20%,從這個試驗中學到的經驗依然很寶貴。

所以,App開發者需要制定科學的優化指標,從海量數據中挖掘出有用的用戶行為信息。AppAdhoc Optimizer支持自定義的優化指標和可計算的復合指標,能夠多維度的分析試驗數據。我們吆喝科技的專業團隊,也會做好咨詢服務,幫助開發者理解和分析試驗數據。

您在Google工作了很久,分享一些您了解的美國互聯網公司A/B測試的經驗,比如Google,、Facebook、Microsoft這些公司。

王曄:剛才我們已經舉了一個Microsoft Bing和Amazon使用A/B測試提升產品的例子。

我再說說自己在Google的經驗。隨著A/B測試的不斷改進,Google幾乎所有的產品,包括新上線的產品,每一次更新都需要首先通過細致的A/B測試驗證。

事實上,Google的各個產品每個月都有成百上千個不同的測試版本在運行,試驗數據決定了大量的改動都不能最終上線(Fail Fast),而最終通過數據證明自己更好的改動使Google的營收每月可以提升大約2%。日積月累,Google僅僅通過數據化驅動的方式就能保證年化增長達到20%。

m5

這張圖是Google從2007年建設好Web A/B測試平臺之后的測試版本增長情況圖。

Facebook在移動App的產品質量上遙遙領先,它作為單一產品更加依賴自己強大的A/B測試平臺。因為Facebook App每次更新的時候都會將未來6個月甚至更長時間內想要測試的新功能都集成進代碼。Facebook將這些功能逐個通過A/B測試的方式檢驗驗證,如果功能有問題,或者用戶反饋不好,測試版本就會被修改或放棄;只有效果好的改動被推廣給全球用戶。

這樣,絕大多數手機用戶(沒有被分配“壞”測試版本的用戶)的體驗是Facebook App沒有Bug!而且Facebook App的用戶體驗越來越好。

我們也了解到國內的百度、知乎、大眾點評網等都建設了自己的A/B測試系統,并且獲得過很好的產品優化效果。

在線A/B測試是如何提高移動營銷轉化率的?該如何改進產品的用戶體驗?

王曄:A/B測試在企業的市場營銷和產品的用戶體驗上都可以起到很大的作用。舉一個移動營銷的例子,現在非常流行的在微信中傳播的HTML5營銷頁面,往往稍做改動就能帶來巨大的變化。一些可以嘗試的改動包括:壓縮H5文件大小,給用戶更多的交互,讓用戶轉化盡量在頁面內完成不做跳轉,將文案放在圖片下方、縮短文案、改進措辭、調節顏色等。

實踐經驗告訴我們,一個專業設計的H5頁面經過一系列優化,可以將分享次數和用戶轉化提升幾倍乃至更多!這相當于節省了巨大的推廣成本。

abn

再舉一個產品的例子,用戶注冊和登陸的流程很大程度上影響了用戶體驗。Airbnb嘗試過各種不同的簡化用戶注冊和登陸的方案,并且在這個環節的用戶體驗上反復推敲,包括背景、文案、字體、按鈕的位置等。

一個經過優化的用戶注冊登陸頁面,可以使真實用戶流失率下降幾倍,趨近于0。這對于App的用戶增長來說非常珍貴。要注意的是,大多數改動對優化指標的影響很小。同時,確實有少數改動會“意外”地產生明顯的巨大的改進效果。所以只有通過多加嘗試,比如一次運行多個試驗,以及盡快嘗試不同的測試版本,每一個1%的改進互相疊加日積月累就可以產生10%,20%,乃至100%的提升。

另一點要注意的是,盡管優化經驗是可以積累的(比如什么顏色的背景可以增加用戶停留時間),但是特定的優化經驗往往只對特定App有效,不一定能直接復制。甚至同類型的不同App,往往最優的策略也很不相同,這是因為不同App的用戶群體很難重和,以及用戶對不同App的期待也有區別。

在線灰度發布功能是如何加速App/Web敏捷開發的?

王曄:對于早期App開發者,精細化的優化成本太高,大量的微調型的A/B測試也沒有必要。對于這些開發者,AppAdhoc平臺依然可能很有幫助,特別是我們提供了一個非常有用的在線灰度發布功能,可以大大提高開發者的敏捷開發效率。

我們的SDK 包裝了“模塊開關”這個API接口,開發者在每次改動代碼時可以在控制臺定義一個或者幾個模塊開關,然后用模塊開關來保護代碼改動。簡單的說,可以讓新功能只有在模塊開關打開的情況下才展示給手機用戶。

在新代碼部署上線之后,用戶對新代碼無感知。開發者可以通過AppAdhoc控制臺開放新功能給部分用戶,用來檢測bug和獲得用戶反饋。如果發現問題,可以隨時回滾到老版本;如果新功能獲得成功,則可以推送給所有用戶。

這種對不確定的新功能進行灰度上線的模式,能夠使每一次代碼改動更快的部署,減輕企業內部的QA和測試壓力;而且可以快速通過應用商店的審核;特別是在發現問題時可以無須通過審核直接關停有問題的試驗。

企業技術選型的思考

這幾年,中國技術ToB服務的迅猛發展趨勢,互聯網+時代的企業該如何做技術選型和采購技術?

王曄:2015年被稱為企業服務市場的元年,這是因為中國企業持續不斷的自我進步,對移動互聯網新技術有著特別熱情,積極的態度。中國的技術類ToB服務因此可以和美國同行一樣,大膽創新,用專業技能為企業客戶解決各種各樣的問題。

中國的新一代開發者已經趕上和超越了美國同行,習慣于使用云平臺、Github、Docker,以及其他各種開源和共享技術。將通用的技術問題交給專業的第三方服務去解決,這是這些企業可以專心致志發展核心業務實現火箭一樣發展速度的部分原因。

在選擇使用哪些第三方技術供應商的時候,除了口碑與性價比以外,技術公司的專業性是很重要的考察因素。

在吸收技術服務的過程中,可以先在風險較小的產品上開始試用;可以考慮使用和對比(A/B測試)多家技術解決方案;如果對數據隱私非常重視,可以考慮購買私有云整套解決方案。

這里我提一句,AppAdhoc Optimizer的A/B測試引擎雖然也收集用戶數據,但是僅僅需要獲取短期試驗數據,A/B測試并不需要App的歷史數據。

在這樣的大環境下,吆喝科技的下一步產品研發方向以及重點發力點會在哪些方面?

王曄:盡管處于創業早期,我們吆喝科技已經對于未來有比較明確的發展規劃。我們的重點是對AppAdhoc Optimizer優化引擎的不斷改進,包括:建設更加強健的后端集群,實現支持日活數十億用戶;更加詳盡的數據對比分析功能;通過機器學習給客戶提供自動優化的建議;針對不同用戶群體的定向用戶體驗功能。

另外針對非深度開發者的移動營銷人員,我們即將推出一個所見即所得的HTML5營銷頁面優化平臺,可以方便營銷人員不做代碼改動就實現各種各樣的A/B測試,不斷優化移動營銷的效果。敬請大家期待我們的新產品。

此外,未來我們會和合作企業一起,深耕移動廣告產品的優化,創造出用戶喜愛的新廣告形式,造福廣大手機用戶,同時提高移動App的流量變現價值。

要成長,請離開舒適區

吆喝科技的技術團隊是什么樣的氛圍?

王曄:哈哈,我也是年輕人:)創始人的影響下,吆喝科技是Google工程師文化的踐行者。公司業務非常開放透明,以技術和產品主導決策,工作氛圍積極快樂。在應對技術問題時,大家敢于挑戰難題,樂于大膽創新,積極溝通交流,勇于承擔責任。

吆喝科技提供免費午餐,免費健身,經常舉辦各類體育活動。每周五有全員聚會(TGIF),每月都有深度研討(Deep Dive),公司時常有全員旅行辦公(Offsite)。大家互相學習,共同進步,保持年輕。

從工程師到CTO,這一路您也有很多積累和感悟,招人過程中哪些特點是您比較看重的?

王曄:我覺得學習能力和溝通能力是最重要的。優秀的團隊可以將新人培養的一樣優秀,前提就是新人積極學習,樂于溝通。性格上符合公司的文化也非常重要,因為對創業團隊來說,團結作戰是必須的生存法則。

對于還未有太多職場經驗的技術人,向有經驗的技術大牛學習毫無疑問是能很快提升自己水平的方法。不過這一點大多數人都可以比較容易的做到。

比較難做到的是離開舒適區(Get out of your comfort zone)。如果你發現自己最近一年沒有遇到什么技術上的挑戰,要么你已經是這個領域的帶頭人,要么你就需要重新審視一下自己:也許應該積極研究產品、技術上可以做哪些革新和改進,也許應該參與一下其他更新穎的項目。

我們工程師有時候會不自覺地對新技術有抵觸。究其原因,我認為是所謂的舒適區(comfort zone)心理讓人變得懶惰。一旦某個技術深入理解了,某個框架使用熟練了,某些代碼邏輯寫多了,我們就會習慣性地依賴他們。這雖然在短期內有助于工作效率,但是在長期來看卻可能錯過提高自己的機會。

大膽的嘗新和試錯,是最能夠鍛煉自己技術能力的。

我們公司現在的Android SDK負責人,幾年前是做Java系統開發的。當寫Java非常熟練以后,他主動去研究剛剛發展起來的Android。寫Android代碼一開始是用Eclipse,寫過幾個App之后他又換用Android Studio,進一步提高了開發效率。

加入吆喝科技以后,他在開發AppAdhoc Android SDK的過程中,深入探索了Android各個版本,使我們的SDK可以兼容到API 8,幾乎覆蓋世界上所有活著的Android手機。最近他又在研究Google I/O 2015上提出的Android新框架和新接口。

現場互動:如果保證用戶隱私的安全性?

王曄:

  • 首先,我們的SDK并不會獲取用戶的個人信息,我們只統計客戶App關心的優化指標,所以我們是和客戶App一起尊重用戶的個人隱私;
  • 其次,我們并不保存和處理App的歷史數據,A/B測試需要的只是短期的試驗數據用來科學的判斷哪個試驗更成功就可以了。
  • 最后,我們可以為客戶App提供私有云解決方案,數據完全不經過我們。

現場互動:AppAdhoc Optimizer優化引擎 這個架構是怎么樣的?

王曄:我們的主體是云端的試驗控制、試驗流量分割、以及數據統計和對比分析。

m7

現場互動: App驗證某個版本效果最佳后,可以實時將其他版本也切換成最佳版本是吧。那么是否對用戶有明確的告知、教學類的提示呢。用戶會不會感覺突然操作習慣變了?

王曄:這是個好問題,我們的平臺是允許一鍵發布新版本給所有用戶的,不過用戶是無感知的。App可以在發布的同時,通過自己的用戶溝通渠道通知用戶。

 

吆喝科技:國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 測試服務的專業 SaaS 平臺。支持線上灰度發布、多維度數據統計分析、科學的流量分配系統、一鍵發布新版本無需應用市場審核、定向測試。

 

用數據幫助用戶優化產品,提升轉化、留存和你想要的一切。 AppAdhoc 用數據驗證最佳方案,提高產品設計、研發、運營和營銷效率,降低產品決策風險。

3674 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 算平码技巧 网络捕鱼游戏有哪些 上海天天彩选4今晚开奖号码 二分彩全天计划蜂巢 山西十一选五下载 平特肖统计论坛 真钱捕鱼 金沙棋牌官方版 做小生意卖小饰品赚钱吗 一肖公式规律