王曄帶你解密 Google 產品優化的秘密 「下」

secret

王曄博士:吆喝科技創始人及 CEO ,清華大學電子工程系碩士,耶魯大學計算機科學博士,曾在 Google 美國總部負責廣告產品的創新和研發,對A/B測試系統、大規模復雜系統、數據挖掘和分析、互聯網基礎架構有深入研究。
本文接之前發布的:王曄帶你解密 Google 產品優化的秘密 「上」

本文接之前發布的:王曄帶你解密 Google 產品優化的秘密 「上」

二、優化的利器:AB測試

1、你的測試真的是AB測試么?

上面所說的所有都是為了引出A/B測試這個概念,A/B測試就是 Always be testing 。它的概念就是一個科學的測試。它能夠幫助我們去合理的采樣用戶流量,帶有一部分隨機性,幫助我們去實現實驗流量的采樣,同時支持很多的變量參與實驗,我們可能在 UI 層面要做實驗,我們可能在促銷或者活動上要嘗試,我們到底上不上一個大轉盤。我們當然也會在后端的派對算法和推薦算法上做嘗試,他們都可能影響我們的效果,這些變量的影響會怎么樣,需要一個科學的方法去追蹤,我們要知道到底哪個變化產生了什么樣的影響,可以幫助我們產品經理在管理產品的時候可以很容易的去選擇到底哪個版本你想交給你的用戶去體驗,然后當然還有實驗時間的問題,就是說這個實驗跑多久才可以做出決策,這其實也是A/B測試需要解決的問題。就是如果我們不做A/B測試,我們直接上線了,然后過了兩天,我們覺得這個效果,數據不錯,就真的數據不錯么,真不一定,這后面會說。當然也有收斂區間置信區間等等問題,這都是A/B測試要解決的。

2、優化方式 generic tadalafil online

其實A/B測試的方法論大家在前面已經知道,有一些概念,但是更重要的是把它集成到我們產品研發,測試,上線,運營的各個環節中去,這個才是在 Google 的秘訣所在。假如你有了A/B測試這個工具,集成了 SDK 或者怎么樣,你總是在設計一些新的迭代方案,就是我剛才說的 UI 能不能變一變,按鈕的位置能不能變一變,文案能不能變一變,上不上一個促銷等等,這些方案都可以灰度的上線,就是并不是所有用戶都體驗的,然后你去設定實驗流量,比如方案 A 讓1%的用戶去體驗一下,方案 B 讓2%的用戶去體驗一下,然后這些放進實驗組這些用戶他們的數據會被實施長期的采集下來,然后根據這個實驗數據我們會知道,有些方案特別的棒。比如說我們改了一個文案,使得用戶下單率提高了,那么我們就可以把它發布,讓更多的人體驗這個文案。如果它不好,那我們就要打回去重做,我們就要去思考為什么這個數據和我們想象的不一樣呢,為什么他們沒有提高呢,為什么沒有增長,那么我們該怎么從中吸取經驗教訓,然后讓它不斷的去新的迭代。

3、A/B測試與統計分析的差異

接下來我要說一些理論性的東西,就是A/B測試集成到我們系統里面,是正確的方法,為什么正確呢,它與我們做統計分析,它與我們做后驗的數據分析,有什么區別呢。

先驗性,如果我們每次改版每次迭代的是都沒有經過AB測試就直接上線了,那會發生什么事情呢,那么可能一個不太成功的改版不太成功的策略被上線之后就直接帶來了損失,比如說降低了20%的用戶下單量,那么如果真的發生了這樣的事情的話,我們后驗的話就產生了不可彌補的損失,但如果我們做A/B測試我們可以怎么樣呢,我只采樣一部分的用戶,比如1%的用戶來做這個實驗,舉例來說,我們遇到過一個旅游類的產品,它在他的注冊環節做了一個小小的改版,這個改版也經過一些測試,但是他沒有想到的是對失眠上的某些安卓手機 會有一些不過注冊流程上會有問題,那么他每天會花10玩塊錢去采購流量,會吸引一萬個用戶來注冊,結果因為這個 bug 的原因,有40%的用戶想注冊而注冊不了而流失掉了,意思就是這10萬塊錢里面就有4萬塊錢浪費掉了,但是他的這個心的改版通過我們AB測試來驗證一下,用1%的流量來驗證一下, 雖然也有40%的損失,但是它是1%的40%,換句話說他不是損失4萬塊錢,而是損失400塊錢,這就是先驗性的意義所在。

并行性,也就是說我們真正A/B測試也好,產品優化也好,真正的使用場景并不是說我現在有一個迭代方案,然后去先驗證一下然后決定是不是上線,不是這樣的。顯示當中你要做到優化,你必須,就是我們剛才說到的優化問題,解的空間是無限的,我不能一個個點著找,我必須同時找10個點,20個點,100個點,我要同時上線很多很多可能的方案,然后對它進行測試并行,而不是說上一個,不行再上一個,那樣的話我一個月只能去驗證2、3個idea。但是如果有了并行性,AB測試同時上線,1%的用戶嘗試這個方案,1%的用戶嘗試另一個方案,你就可以同時檢驗20個方案,100個方案,1000個方案都是有可能的。

科學性。是只改變一個條件的單盲試驗,如果你的A/B測試的試驗則和對照組并不只是改變了一個條件, 這個條件就是你想做的試驗,你想迭代改版的東西。如果不是這樣,比如說實驗組的用戶和對照組的用戶還有一個另外的區別, 比如說我們剛才實驗組里有王思聰,或者實驗組用戶享受了一些促銷和優惠,對照組沒有, 那么你的實驗結果就不科學不可信,它對你沒有幫助,那么這樣說AB測試索要解決的問題,這也是A/B測試的價值所在。

4、AB測試提高效率

回到剛才的問題,你沒有科學性,并行性,先驗性,會發生什么呢,可能你第一次嘗試A/B測試會覺得 ok ,我需要去花很多是人力精力,寫很多代碼去做A/B測試,花了一些時間,得出了一些結論,一個版本點擊了100下,一個版本點擊 了97下,那到底是提升了降低了還是沒有變呢你也不知道,這樣你的優化就無從談起。正確的使用方法就是你有一套強大的工具,然后你可以同時上線很多很多迭代的方案,可能在一周的時間內就驗證了100個想法。其中可能有60個70都是既不能帶來增長,也不會降低的,可能會有十幾個會跟你之前想象到的完全不同,它會降低你的營收,降低你的轉化率,可能只有二十個或者十幾個能夠提升你的轉化率,但是你就把這十幾個發布出去,就可以產生效果,這就是使用A/B測試優化的方法。這個是 Google 天天所做的事情。

5、自建的復雜程度

如果你能夠這樣去做,你有一套工具可以輕松開展AB測試,它除了能幫你去優化之外呢, 他可以幫助你更快的改版,更快的上線,可以一鍵發布給所有的人,一鍵回滾,避免出現線上的事故,也可以實施的獲取實驗結果,加速制定期間的收斂,幫助你更快的決策,支持大量的并發試驗。輕松管理海量的實驗。如果你有這樣一套工具,你的優惠就變得異常的強大,但是如果你需要這一套工具的話呢,我的建議是你不要自己去造輪子,我們AB測試就在做這件事情,AB測試這樣一個工具,那么我們開發了一年半的時間,才剛剛基本沒有bug了,系統比較完善,我們有強大的功能了,但是后面還有很多很多未來的挑戰等待著我們,所以經驗就是這個事情還是很復雜的。

6、國際頂尖增長黑客的方法

然后說一說我的老東家,硅谷的一些公司是怎么利用這些工具實現優化的。

Airbnb , 他們是對A/B測試實踐非常非常精細的一個公司,它從第一天開始,所有的重要頁面,關系到轉化率的。比如說注冊頁面,注冊頁面轉化率很重要喔,通過AB測試的方法來迭代,怎么做呢 ,它的每一個改版,每一個調優都首先灰度發布到1%的用戶,比較大的可以先發布到5%的用戶,去看看數據,用戶的下單,用戶的留存,用戶的注冊率轉化率,根據這個來決定是上線還是打回重做,它就保證了 Airbnb 總是在不停的增長,不停的優化。

Google , 是最早實現這件事情的公司,現在每個月可能都會跑幾百個實驗,A/B測試,從中找到實解,當然主要是搜索結果和廣告的點擊率,這是特別重要的一件事情,通過這樣的事情呢, Google 實現了每個月增長2%,不要小看這個數字,實際上 Google 通過這樣每年可以達到20%增長率,它就可以一直超過華爾街對它的期待,那么它的股價就可以不斷的攀升,不要小看了這個數字。開個玩笑話,微軟,蘋果并不能使用大規模AB測試這樣一個黑科技來做迭代,為什么呢,微軟它的一個重要產品,比如說 Xbox ,它想 Xbox 的配置做一個A/B測試時不現實的,蘋果的 iPhone 也沒有辦法真的去做A/B測試,它就沒有辦法保證每個產品電腦推出迭代都可以優化,一旦它這個季度沒有實現優化,沒有實現增長,它的股價就會暴跌,微軟和蘋果都曾經出現股價腰斬的情況,但是 Google 從來沒有出現過。

Facebook 在移動端每次的升級改版它都會把未來6個月要做的各種改版,全部都灰度的發布給用戶,用你1%的用戶試試這個改動,用1%的用戶試試那個改動,只有對它轉化率提升的,它才會發布出去,那些不好的就不會去發布。

知乎等。其實國內也有一些企業在踐行這樣的實驗,比如百度的搜索,大眾點評的推薦系統,還有知乎的運營,知乎我就說個例子,知乎他們通過數據發現如果一個用戶在知乎上回答了超過3個問題,他就會比沒有回到夠3個問題的活躍度高一倍以上,它就會覺得一個用戶回答3個問題很重要,那怎么辦呢,它就用AB測試,篩選了一部分新用戶把它拆成試驗組合對照組,對實驗組的新用戶就會用他的運營人員,比如說是男性用戶,就會偽裝成美女去邀請你去回答三個問題,邀請你回答一個問題,回答了,再邀請你回答,再邀請你回答,等你回答了3個問題她就不邀請你了。然后呢,他就會AB測試對比,用了這個策略的新用戶和沒有用這個策略的新用戶哪個更活躍。實驗結果非常好,用了這個方案能夠帶來轉化率的增長,能夠提升,所以它就發布給所有用戶。如果你是新注冊的知乎用戶,你相信我,你一定會被邀請回答3個問題。

7、高效AB測試七條黑客經驗

接下來,因為AB測試這件事情很復雜,所以我們在這里不可能展開說的特別細,但是有一些經驗確實非常通用的,這個我們在其他場合也分享過,但在這里大家還是可以去再次感受一下,了解一下高效AB測試七條黑客經驗。

效果驚人:你產品的一些微小的改動,有可能就造成對 KPI 的巨大影響。有的時候一個顏色的變化就有可能帶來100%的分享率的提高,都是有可能的。像我們自己的客戶,在他們自己的教育類網站,他們注冊改了一個文案,就提升30%的學生注冊率。

耐心測試:但是大多數會的改動并不會大幅度提高 KPI ,就像你做100個實驗可能6、70個都沒有什么用,這是非常可能的。

Twyman法則:而且對于這件事情還有一個 Twyman 提出的法則,跟墨菲定律一下很搞笑,說的是凡是看上去很出人意料的圖表,通常都是因為數據統計錯了。

你很不同:另外產品之間往往可以參照的東西不多,你去復雜他人的經驗往往沒有用。開玩笑說如果京東把亞馬遜的一些策略拿過來,說不定有點用,但可能不好,如果抄淘寶的,可能會是災難性的后果。

速度是關鍵:但是任何能夠加速用戶響應時間的改動,都會給 KPI 帶來提升,一定要記住了如果你的技術團隊有能力讓你的 Html5 頁面變得更快,或者讓你的網站打開的更快,或者 App 響應的更快,就讓他們全力以赴去做,給他們無限的支持,因為這一定會給你帶來正面的提升。

關注產品的質量:你想要在一個環節中提升點擊率其實不難,就像我說的點進來是大獎,或者你在推送消息的時候說您有一個大禮包待領取,或者您有一個獎待領取,這種方法往往能產生一個很好的點擊率。或者你在電商平臺,你的展示方式是一個大美女,那么一定往往能提升你的點擊率,但是這件事情對你的產品并沒有什么本質的幫助,他們不會有實質性的幫助,更重的是你要考慮的是真正核心的用戶轉化率在哪里。我們有個定義叫 Core Action ,就是你的用戶到底什么樣一個行動,這件事情的轉化率最重要,你要搞明白。對 Facebook 來說他的轉化率最重要就是他去發布了一個行動,或者是加了一個好友,這件事情可能特別特別重要。對 Google 來說可能最重要的轉化率是用戶點擊搜索結果這件事情很重要。對 Uber 來說,可能用戶召喚一個行程可能特別重要,一定要關注在這個產品質量上面。

快速輕量迭代:另外在做迭代的時候一定要做一些輕量的,做一些小的改動,做一些小的實驗,千萬不要去做大實驗,因為這種東西往往是弊大于利的。你做一個大的改動,最糟糕的情況是你把用戶群都變了,原來很喜歡的用戶他走了,多糟糕啊,來了一些新用戶你指望他們重新填充你的 retention 留存率是挺難的一件事情。另外你一個大的改動,你很多地方都改了,那么你的實驗結果也沒有辦法歸一,沒有辦法去幫助你去積累經驗。你確實在優化的解空間當中的一個點跳到了好遠好遠地方的另一個點,那么中間這些點會有什么變化你一無所知。但是你用輕量迭代就能幫助你去積累更好的經驗了。

用戶數量是基礎:最后,用戶數量也是個問題,如果你只有100個用戶,可能A/B測試并不是一個適合的黑科技對于你來說,你可能需要更多的是用戶調研,用戶分析。只有當你有了1000個日活的時候,可能AB測試這種迭代的方法才有效,否則你的實驗結果是不準確的。開玩笑說,如果你只有兩個用戶,一個人說你好一個人說你不好,那么你信誰呢,那么AB測試對你是沒有用的。

8、優化指標的設計

還有一點也很重要,就是我們剛才所說的優化指標的設計,我們剛才列舉了很多 PV , UV 用戶留存時間等等,但是在每個階段在每個我們實驗設計里都會有一個不同的優化指標,這是很可以理解的,也是正確的。但是你要想一個問題是,你的真正的遠景目標是什么,我們管他叫北極星。這個北極星很重要,就是你的所有努力其實要朝著北極星進發,然后你每一次優化的時候你的優化指標都應是拖動你的發展方向更靠近這個北極星,他不一定時要直直的去的,它可以是歪著去的,但是他歪著去之后呢,你要不斷去調整你的優化指標,讓他越來越靠近你的北極星。我覺得最成功的產品在這方面的把握是最好的。不忘初心,還是剛才那個觀點,你不要總是想著一個細節的點擊率,而是你要有一個更遠大的目標,那么在這里 core action 很有用。

案例講解

墨跡天氣:

墨跡天氣,它是一個很工具類的 App ,他的用戶體驗很不錯,我們公認他是一個非常棒的產品,但是他依然很關注轉化率的提高,比如說分享,他希望大家能夠分享更多墨跡的故事,天氣的故事,天氣的內容,他的分享的圖標,哪怕是一個小小的圖標的變化,也會帶來轉化率不同,比如像這個案例里面,三種不同的設計對比原始的分享的設計,方案三能夠提高18%的分享率,其實非常的高,他可能每天有10萬的分享就帶來1萬的增長,這是不得了的一個事情,然后你會看到很有意思就是這個置信區間,有時候也是比較寬的,當你的實驗流量不多的時候,比如說方案二提升了5%,也是提升的,但他是從-1%到+10%,那么就不是那么確定性的結果,這是一個小小的例子。

googlesecret

滴滴:

滴滴也是我們一個很有意思的客戶,對滴滴來說他需要的轉化率不一定是打車的人,他不需要很多打車的人,但是他需要很多很多接單的司機。他通過A/B測試也可以提升司機的注冊率20%以上,通過嘗試不同的設計和文案,當然, A/B測試幫助他提升效果是一方面,真正提升了轉化率,但是另一方面,也可以通過這個試驗更好的理解自己的用戶。他最左邊這種招募司機的方案為什么轉化率不高呢,我們一分析,通過試驗我們理解了,對比后面兩個方案,第一個方案他的設計不明確,就是他到底是招募車主還是招募打車的人,不知道。可能有很多誤點進來的人,他可能以為是招打車的人。那么中間這個版本就會好很多,“每天跑一單,油錢輕松賺”,鼓勵你來做滴滴的司機,賺錢。但是也不是那么完美,因為可能很多有興趣的人點進來發現我要上傳行駛證,上傳駕駛,覺得我當這個司機好麻煩,沒有形成最終的轉化。那么最后一個為什么效果是最好的呢,因為車主招募這個事情很明確,這個產品,這個設計就是讓大家知道就是招司機的。你可以來做滴滴的車主,可以來賺錢,這些人目的很明確,他來了轉化率救會比較高。所以你就會看到一個很有意思的現象就是做了AB測試產生了效果并且獲得了經驗,這個對我們產品經理還是更重要的一件事情。

樂動力:

最后一個案例是我們的樂動力,這個案例就是他鼓勵他的用戶去下載這個跑步的 App ,那么這種方式,為了統計學,A/B測試更加準確,它會考慮看這個時間,這個過去兩周發生的時間,紅色的方案一直都比其他的更好,他就知道了這個設計是更好的。

Q&A

1、移動網站用什么工具做AB測試?

我們吆喝科技做的這個 AppAdhoc 這個A/B測試工具就可以幫你做移動網站或者移動 App 的A/B測試,幫助你去優化。

2、優化之中的置信區間是什么意思?

置信區間是一個很重要的概念,他是和AB測試緊密相關的,是用一種統計學的方法,來分析實驗組和對照組連個隨機過程的采樣的數據。他們通過對比他的采樣數據,對這兩個隨機模型的參數進行一個統計學意義上的對比,然后最后形成一個一定置信度的變化區間。其實如果你不是AB測試,而是直接上線一個東西,再下線一個東西,根據數據來分析,也會有置信區間的問題,但是一般那種置信區間會很寬很寬,意思就是你基本上不知道結論是什么。那么一個AB測試的置信區間,他往往是這樣一個概念,就好像剛才我們ppt里舉的例子,就是說對照實驗組使得你某一個指標的轉化率提升了15%,然后他的95%置信區間是從10%到20%,就是說你把這個實驗組版本方案迭代,把這個方案發布給所有的用戶,那么你有至少95%的概率可以提升10%以上,而且有比較大的概率可能是最終提升了15%,也有一定小概率會提升20%。這就是置信區間的概念。當然你也有5%的概率這個變化不在提升的這個區間之內,也是有可能的。在工業上,我們一般都會有95%置信區間。舉個例子,如果你看到你的實驗結果置信區間是從-3%到+3%,那么很可能發生了什么呢,你的這個實驗版本既不能給你帶來增長,也不能帶來下降。如果你是3%到6%,那么你可以基本確定這是一個好的優化方案。他能帶來增長,如果他是-5%到-2%,那么這個方案千萬別上線,他會帶來負增長。

3、AB測試一般要測試多少天,積攢多少樣本才能得出結果?

積攢多少樣本才能得出結論這件事情和置信區間也是相關的,置信區間要足夠窄才能說你得出了一個比較好的結論。積攢樣本這件事情取決于幾個方面,一個是試驗流量本身,一個是轉化率本身,比如說你的轉化率非常的低,你只有百分之零點零幾的轉化率,那么你可能需要非常非常多的樣本才能夠做出有效的測試。但是如果你的轉化率是50%,那么可能你有1000個樣本你就夠了,跑一個小時就夠了,但是A/B測試測試要持續多少天這件事情我要提一下,A/B測試一般要持續7天,或者14天,這是是因為AB測試是只改變一個條件的單盲測試,就是你只改變一個條件,你的實驗本身其他都不變,你當然希望整個試驗時間覆蓋用戶的周中的行為和周末的行為,他星期一到星期五的行為可能和星期六星期天不一樣,所以7天是一個比較理想的時間。當然如果你想更確信,最好跑14天,如果你的流量比較少的話,你可能要跑更長的天數。然后你怎么得出結論,你就等這個置信區間收窄,窄到一定程度你就可以說 ok ,好了,可以上線了,或是可以下線了。

4、Facebook 是如何做A/B測試的?

Facebook 在發布新 App 的時候,會對未來幾個月想做的做AB測試,那么是怎么做的呢,Facebook 做了一套系統, Gatekeeper 和 Airlock ,他是大概花了2年時間,40個工程師,借鑒了 Google 的一些想法,又解決了移動端的一些問題。有了這樣一套系統之后呢,他的產品上線的流程也深入的集成了A/B測試,他在需求評審階段就會產生各種各樣的想法,各種各樣可能的功能,各種各樣的變化,然后交付實施,這些實施都是通過 Gatekeeper 的方式上線的。也就是灰度的發布給用戶,然后再用 Airlock 的方式放流量進來,讓一部分用戶去嘗試新的功能,只有那些好的功能才會保留下來,在下一次 App 改版的時候會正式的全面的發布給所有的用戶。而那些不好的功能可能就關閉, 不上線,然后再下一次迭代的時候除了會把上一次成功的版本全部發給新用戶,還會添加一些新的實驗進去。所以他每次迭代都是把新的實驗發布出去,然后不成功的實驗打回去重做,然后再加一些新的實驗進去,這就是他每次迭代的流程。如果你要做 App 這樣的方式的迭代,用我們 AppAdhoc SDK 也可以去做。會比 Gatekeeper 和 Airlock 更加強大一些,支持可視化的編輯,可視化的界面A/B測試。

5.WEB產品頁面優化可以用AB測試么?

當然可以, Google 天天在做,很過國內的公司也在做了,比如說攜程也在做,

6.汽車行業做車友汽車的,這種傳統行業怎么做AB測試

很簡單,如果你是維護這個 PC 網站的,那么以后你的決策要更靈活,你甚至應該招一些年輕人來,讓他們腦洞大開,你的網站繼承 AppAdhoc 的 javascript 的代碼,然后你就可以去大量的同時上線一些改版,比如說1%的用戶去試試看新的表單的位置,另外1%的用戶去體驗一眼和保險公司的合作項目,另外一些可以放更多的汽車banner的展示,看看哪個轉化率是更高的。以前項目的上線可能是100%的用戶都看到的,但他不一定好,對你未必是一個好事情。你可以大膽的去用小流量去驗證。

7.A/B測試接入 SDK 是如何展開的?流量來源如何選擇?

對于A/B測試比較陌生的產品經理來說可能會比較糊涂,那么其實你接入了 SDK ,無論 App 還是網站,你接下來的事情就很簡單,比如說你的一個新想法要上線了。你可以通過我們這個 SDK 可視化編輯,改文案,或者你的工程師可以把這個功能通過我們的 SDK 灰度的集成到上面,同樣還是一個包或者一個網站,但是不是所有用戶都會看到他,你想讓多少用戶看到他,在我們這個平臺上,比如控制一下1%的用戶看到這個改版,你會發現某一個改版可以提升10%的用戶,那么你就可以上線,是這樣一個流程。集成 SDK ,把你的想法,你的腦洞通過這種可視化的方式創建一個實驗,然后一開始這些實驗版本都是沒有用戶會看到的,然后通過我們的平臺可以放1%的流量到一個版本,放1%的流量到另外一個版本。或者5%,都可以,來決策這樣一個體驗。

8.AB測試在生產環節是加白名單的方式還是直接測試環境上測試的。就是拿一部分用戶試試看,然后再上線?

不是這樣的,你說的這個呢是 QA 的模式,還是一種傳統的方法,那么這種 QA 的方法就和傳統企業一樣,像微軟一樣,他先做 Xbox 原型,然后再讓一些微軟的同事或者測試用戶試用,試用玩家覺得好,然后他再大規模量產,但這種方式是比較落后的。真正的AB測試這樣一個強大的工具,它強大在哪呢?它強大到可以讓所有用戶來直接參與你的實驗。比如說你有100萬用戶,你劃1%就有1萬用戶會體驗你這個新版,他們是精心篩選出來的,他們可以去嘗試這個新版,他們產生的AB測試數據是可信的。他提升了5%就是你最后發布了就可以提升你所有收入的5%。如果他下降了10%,那么你就不要讓他上線,如果上線了,你可能有很大的概率帶點來10%的損失,這就是AB測試強大或者黑科技的點,就是為什么 Google 把他作為秘密武器,我們希望把這個秘密武器變成一個常規武器給大家用。就是他不是那種拿一部分用戶來試試看,然后再上線,這種方法是不行的, Google 也做過這樣的實驗, Google 做過一個產品叫 Google Plus ,社交產品,它給 Google 所有的員工開放,發現數據很好,活躍很好, 比 Facebook 強多了,然后他發布給所有用戶怎么樣了呢?他連注冊量都不夠更不用說和 Facebook 比活躍度了。所以這就是A/B測試的意義或者他強大的地方。

希望大家能夠不斷的實現自己產品的優化,實現增長。

吆喝科技:國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 測試服務的專業 SaaS 平臺。支持線上灰度發布、多維度數據統計分析、科學的流量分配系統、一鍵發布新版本無需應用市場審核、定向測試。

用數據幫助用戶優化產品,提升轉化、留存和你想要的一切。 AppAdhoc 用數據驗證最佳方案,提高產品設計、研發、運營和營銷效率,降低產品決策風險。

3810 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 2018韩国签证申请样本 四川时时app下载手机版 江西时时从号事件 送彩金38元不限ip mg游戏技巧 王中王资料一肖中特图 白小姐152期资料 陕西快乐十分任务最大遗漏 上海时时最快开奖直播 11个数三中三有多少组