王曄:Google歸來,我想讓A/B測試驅動產品優化在國內流行起來

%e8%b0%b7%e6%ad%8c%e5%bd%92%e6%9d%a5

 

1、為什么放棄 Google 優越的條件回國創業并選擇A/B測試作為切入點?

我為什么放棄 Google 的崗位選擇創業? 我雖然在 Google 的核心部門任職,但我依然認為 Google 并不是這個時代真正的引領者。在移動互聯網時代,新一代的企業像 Facebook 、 Uber 、 Airbnb 才是互聯網的弄潮兒,它們更創新、更積極的推進新型的業務和產品。所以我覺得待在一個已經開始有點傳統化甚至有點落后于時代的公司,還不如自己出來創業。無論是在北美還是歐洲,中國人受到的局限性比較大,你需要解決身份認同、文化沖突等一系列問題。 但在中國,我如魚得水。

 

另外,我覺得中國市場的體量遠超北美,甚至遠遠超過歐洲、日韓。所以在國內創業,發揮的空間非常大。而且國內對A/B測試越來越認可。于我而言,回國創業是一個契機。2008年,在一次國際學會討論會上,我與一個美國師兄發表了一篇論文,希望通過影子配置測試網絡系統或者網絡設備,比如:路由器等配置是否正確,王曄構想在網絡設備環境下同時在線一個服務版本配置即 A 版本,如果想修改網絡配置,首先修改網絡配置的影子配置 B 版本,在 B 版本里測試連通性,當測試環境符合修改者的預期后,再與 A 版本進行對調,完成網絡配置的修改。

 

這項科研成果為王曄今后創業埋下伏筆。

 

2、為什么A/B test在國內可以作為創業切入點?在國內外有何需求差異?

我在 Google 總部負責搜索廣告產品的創新和研發,為 Google 廣告主提供新功能,提升 Google 搜索廣告以及展示廣告的質量,通過改進廣告產品系統算法幫助提升 Google 廣告的營收以及點擊。在 Google 工作期間,我發現A/B測試的思想使用頻次非常頻繁。在搜索廣告產品改進的過程中,時常涉及到對 UI 或者廣告展示方式進行修改或者加入新的元素提升廣告展示效果,但以 Google 的體量貿然上線新功能一旦出問題就面臨難以估計的損失,因此在 Google 廣告產品新功能上線都要經過嚴格的A/B測試,先分出小部分流量對新功能進行測試,統計這小部分的使用數據(點擊率、停留時間、營收)判定新功能的利弊性。

 

通過 Google 切身經歷,我發現A/B測試技術在實際運用過程中效果顯著,認為A/B測試在未來將會成為剛需。與此同時我發現通用的A/B測試解決方案或者第三方服務在市場上卻很緊缺,只有美國和日本能提供優質的A/B測試服務。這讓我看到了創業機會,并萌發為國內還未使用A/B測試方法論以及已經具備A/B測試思想但是方法還很粗糙的企業主提供A/B測試服務,通過自己在A/B測試領域的經驗以及對市場的判斷幫助企業主改進他們的決策以及產品流程。2013年年底開始,我開始尋找各種機會回國進行調研,發現國內能單獨使用A/B測試的互聯網企業可能不足10家。王曄希望將 Google 使用的A/B測試服務帶進中國改變國內現狀。

 

3、吆喝科技的在線A/B測試云服務平臺核心競爭力是什么?能解決目標用戶的什么痛點?

AppAdhoc A/B Testing 云服務,用數據幫助企業優化產品與廣告,是國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java等)A/B測試服務的 SaaS 平臺。企業主通過接入使用吆喝科技的 API 或者 SDK ,在他們的產品、營銷渠道以及內部軟件系統內進行A/B測試,用數據幫助研發團隊做產品決策,避免無數據決策的產品風險,提升產品潛力。基于 AppAdhoc A/B Testing 云服務,吆喝科技還提供客戶成功等咨詢服務,幫助企業結合吆喝科技的工具提升內部的流程。 我們獨特的地方如下:

 

首先:對于新注冊用戶提供45天免費試用期; 其次:推出易用版,實現所見即所得功能。比如可以直接看到 App 改版后長什么樣;可以直接拖拽、修改,設置放多少流量進行實驗,或者發布某一個特定的版本,都可以動態實時地看到數據報表。 最后:吆喝科技還會舉辦增長黑客沙龍、數據驅動優化流量運營分享會以及產品經理線下活動和培訓課程,從產品經理、數據分析、運營等人員切入,讓企業產品運營決策者多渠道接觸行業領先的A/B測試方法論,針對傳統企業吆喝科技從行業的咨詢角度結合互聯網+的理念,將互聯網企業精細化運營的概念傳遞給傳統行業,將以往盲目的決策方式轉變為以數據驅動的決策方式。 我們希望通過讓用戶低成本的嘗試、可視化A/B測試服務以及線下交流的方式,讓國內的企業主認識A/B測試概念,將概念迅速融入自身產品的決策之中。

 

4、A/B測試對于企業的資源(人員、技術配置)有什么要求?具體流程是什么?

A/B測試在很多知名企業,比如 Google 、優步、百度、知乎這樣的企業,已經滲透到整個企業決策流程當中。 首先,它的決策者、 CEO 會關注各個部門最近在做哪些AB測試,獲得了怎樣驚人的成果。然后,公司的產品負責人、市場負責人會關注目前每個項目組都在進行哪些AB測試實驗,以及各個項目組的表現如何。最后,是AB測試的實際執行。如果用專業的A/B測試工具,企業內部只需要一個對技術略懂的程序員以及一個營銷人員配合,其他工作都可以通過軟件來完成。如果沒有A/B測試工具配合,企業在執行A/B測試會比較困難。 首先要策劃兩套不同的方案,工程師開發兩套不同的頁面、流程,這個需要占用昂貴的技術資源;然后要實現測試組、對照組同時上線,并進行的流量分隔和實驗,這個實現起來也很復雜;接著要進行數據采集、數據分析,又是一個非常麻煩的事情; 最后,要把數據分析結果生成可視化的報表,幫助企業決策。對于普通公司而言,要完成整套的A/B測試需要非常強大的 IT 團隊經過長期的開發測試,同時也需要一直維護。所以,我建議采用專業的A/B測試工具結合客戶成功服務來完成。

 

5、如何理解“全數據驅動產品優化”的概念?能否舉例說明為何突出數據的「全」?

全數據主要有兩個方面:
一是平臺的全面,吆喝科技的A/B測試云服務國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java等)。
二是數據的全面,所有用戶的對于相關頁面的關鍵信息以及數據都會被采集記錄,方便后期的整理分析。

 

6、如何理解「頂級的 PM 也只能跑贏一半A/B測試」這句話?A/B 測試有哪些局限?

頂級的 PM 可以通過直覺與經驗判斷產品,但是這并不穩定,每個人的感覺不一樣,不同產品的用戶口味也千差萬別。熟練使用A/B測試工具,就相當于110米欄的跨欄比賽中去掉幾個欄,運動員還是那個運動員,成績能提高不少;減少幾個欄并不能代替運動員參賽,僅能降低一些難度而已 A/B測試工具就是這樣,能幫你降低難度,卻不能代替你參賽。會降低難度的運動員,才是頂級 PM 。

 

7、對網頁做大范圍的A/B測試會對 SEO 帶來負面影響, AppAdhoc 如何降低這種風險呢?

首先還是要看你網站的流量大小,如果流量比較大的話,我們可以通過流量分割的方式以小的流量來針對不同的方案進行驗證,在完成試驗周期并將試驗收斂之后我們就可以得到置信區間內的結果。通過這樣的方式我們就可以通過盡可能小的流量來測試,不必過多的影響 SEO 。

 

8、國內和國外的企業服務市場有什么不同的地方?企業應當根據什么樣的標準選擇第三方技術供應商呢?

企業互聯網服務市場在國外已發展成熟,我們都知道中國互聯網有個 Copy to China 現象,就是把美國成熟的新互聯網模式復制到中國。但在企業互聯網服務市場,這就變得很有挑戰。因為相比較消費者 C 來,中國的 B 跟美國的B相差更大,市場更不成熟;而相對成熟的市場又很容易被美國公司的解決方案所服務。另外一點就是國外的企業服務市場都是在十分垂直的領域做細分的解決方案,而國內的企業服務市場大多是在走平臺化的線路,提供大而全的產品。我建議企業選擇第三方技術供應商首先還是需要著重考慮自身的需求,其實還需要更多考慮產品的開放性和集成性。當然物美價廉的產品還是人人都愛的。

 

9、企業服務市場的競爭越來越激烈,吆喝科技在業務和研發方面如何保持競爭力?未來有哪些明確的計劃?如何應對國內數據分析工具產品的競爭?

A/B測試技術本身還處于研究的階段,我們首先要不斷完善 AppAdhoc A/B Testing 云服務這套系統,希望繼續保持國內A/B測試服務商領先地位,除此以外我們也將嘗試與行業咨詢公司合作推動A/B測試領域,為各行業運營者提供行業精細化的解決方案,未來還將不斷的延展產品線路,包括決策 AI ,優化自動化等功能,為更多的企業主提供優質的服務。 吆喝科技雖然還處于創業初期,但卻有近500家企業已經在用我們的A/B測試工具。 其中包括很多非常知名的企業成為了我們的付費用戶。我們的服務已經深入到金融、電子商務、游戲、健康、教育等等各種行業。另外,除了服務好國內的市場,我們還會考慮擴張到海外,比如日韓、東南亞以及歐美市場。

 

另外和數據分析不同的是,A/B測試更多的是決策工具,更多的是通過數據來驅動決策,和數據分析工具還是有著本質的區別。

 

10、產品經理和研發的工作是緊密聯系的,從您的豐富的經歷來看,合格的 PM 應該具備什么特點和能力?

想象力,執行力,是我認為 PM 必備的特點,小步快跑地快速迭代才是最主要的。另外現在的工具越來越多,我認為 PM 也需要充實自己,能夠對于常見的工具都能熟悉并且使用。

 

吆喝科技:國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 測試服務的專業 SaaS 平臺。支持線上灰度發布、多維度數據統計分析、科學的流量分配系統、一鍵發布新版本無需應用市場審核、定向測試。

用數據幫助用戶優化產品,提升轉化、留存和你想要的一切。 AppAdhoc 用數據驗證最佳方案,提高產品設計、研發、運營和營銷效率,降低產品決策風險。

4005 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 内蒙古时时单式 时时彩真有人能改单 qq欢乐升级刷分 安徽时时选号技巧 平特计划投资 福建快3预测推荐号码 内蒙快三热点早知道 福利彩票幸运农场规则 十一运夺金两期计划 白小姐资料