關于A/B測試,這里有你想知道的一切

▍如何判斷一個需求可以做?

畢竟現在都求要快速出產品,快速迭代,產品定位確定方法。

答:產品方向要依靠過去的A/B測試的經驗教訓。對一個新需求,如果試驗過類似的功能或者改版,試驗結果比較積極,那就值得去投入開發和試驗。如果過去做過類似的試驗,效果不好,那就謹慎投入。

facebook

比如Facebook曾經做過一款改版,UI變成以圖片為中心,結果試驗結果顯示營收下滑10個多點。所以現在Facebook就不會再盲目的嘗試以圖片為中心。

如果從來沒有做過類似試驗的A/B測試,新需求開發當然是根據咱們自己對自己用戶的需求強度來排期。

多多積累經驗是必不可少的,多做風險可控的試驗。

▍A/B測試是萬能的嗎?

答:A/B測試不是萬能的。首先A/B測試是用來判斷新想法和現有產品哪個更好的。換句話說,現有產品已經滿足了用戶的某種需求。然后我們用AB測試的方法,去嘗試新的改進或者新的功能。

如果一個全新的產品推出上市,A/B測試就幫不了你。比如說,一個社交產品,要完全改成一個游戲,那么A/B測試就完全用不上。

另外,A/B測試注重的是產品決策的驗證和分析,而不是產生決策。比如說如果你想試驗一個抽獎的功能,那么這個抽獎的功能,并不是來自A/B測試,而是你自己對用戶需求的理解。

abtest

如果你從來不用A/B測試,那么A/B測試最適合的場景就是你下一次產品改版,或者上新功能的時候。以前產品改版或者增加新功能,不做試驗就上線了,可能實際上你讓你的用戶活躍或者轉下降了5%,但你并沒有發現。現在你可以在上線之前用AB測試方法試驗一下,看一看用戶數據會有什么變化,只有那些使你獲得增長的變化你才上線,你就可以實現產品的持續優化迭代,不斷改進。

嘗試這樣的思路,就會發現A/B測試能干什么以及不干什么。

▍針對同一用戶群推送不同活動,同一活動推送不同人群,哪一種更有意義?

問題是關于A/B?test?在H5活動鏈接的測試,一家活動運營的saas工具,商家一站試創建獎品和活動,在不同渠道推廣。

答:H5營銷,特別是在微信或者其他渠道分發的h5頁面,是活動運營的一個很常用的手段。我們都很重視h5營銷頁面的轉化率。我們會利用很多手段來優化用戶轉化,比如針對不同用戶群推送不同活動。但是我們不確定這些方法是否有效。

最好的方法是,首先確定h5頁面的主要內容和主要框架,然后制作頁面,可以采用不同的設計版式和設計思路。把頁面先推給所有用戶,然后對不同的設計用A/B測試的方法對比驗證哪個更好,將最好的設計方案推送給所有用戶。

 

然后以這一版頁面為基礎,做進一步的優化,包括給不同人群展示不同的內容和創意。不同人群,比較有效的分類方法是根據用戶需求進行分類,比如說,來自于什么搜索詞。比如網絡金融產品,對于搜索風險低 的用戶,和搜索 回報高 的用戶,我們可以用定向試驗的方法,給他們展示不同的h5頁面。

類似的例子還有,對于女性消費者,我們盡量展示折扣。對于男性消費者,我們盡量展示到底多少錢。

當然,這樣的個性化展示策略,還是要對比咱們原來那個不個性化的基準頁面,A/B測試看哪個更好,然后只有更好的策略才上線。

▍一款app在做灰度發布時,可能會針對性的給一小批種子用戶發送下載鏈接,或者到小的應用市場去發布,但目前對灰度發布的理解并不是很全面,請問具體的灰度發布需要怎么操作及注意哪些問題呢?

答:App在發布之前,可能會針對性的給一小批種子用戶發送下載鏈接,或者到小的應用市場去發布。用小流量發布的方式來檢驗新版會不會有問題。這個就是灰度發布的思想,只發布給一小部分用戶。

灰度發布是非常必要的產品上線流程。如果一個新的改版有bug,不經灰度直接發布給所有用戶,那是產品經理的噩夢

然后,如果用A/B測試的方法來做灰度發布,會更加有幫助。

首先,A/B測試選取的小流量是具有全用戶代表性的流量,這個很重要。如果你只用chrome瀏覽器用戶做灰度,那么ie里的bug就可能漏掉。

其次,A/B測試不僅可以檢查出來功能上產品上的問題,還能發現用戶體驗問題,比如B版用戶的下單率大幅度下降了,就說明B版的產品設計層面有問題。

最后,A/B測試支持流量的實時調整,可以把成功的B版發布流量從1%一鍵增加到10%,還可以一鍵發布到全體用戶。更重要的是,可以一鍵關閉有問題的試驗版本,不用經過應用商店審核,及時止損。

灰度發布可以對產品有很多很多好處,非常重要。

?▍產品上線時間緊張,A/B test時段卻需要相當長的時間來驗證時,在初步優化上應該怎么做?

答:先嘗試對轉化和留存最重要的產品環節,比如廣告著陸頁面,新用戶注冊流程,購買付費流程,核心功能的觸點設計,等等。這些地方試驗優化一下,用全流量50%做試驗,很快就能看到效果。因為試驗流量大,試驗結果的置信區間收斂很快。

一般試驗周期要有7天,覆蓋周末和周中的用戶行為。確實時間比較長。

不過當你熟練做大流量試驗之后,可以同步并行的做一些大膽的小流量試驗,比如對1%的用戶把字體放大一號,或者2%的試驗把背景色換掉,看看會發生什么。

正常情況下,我們需要大流量試驗來驗證大型新功能,比如新推薦算法,新學習模型,新聊天功能。然后我們可以同時用流量分層的方法做很多很多小試驗,比如改UI改文案,看看有什么改變能帶來用戶轉化的提升。同時跑10個以上的試驗很正常,這種并行決策實際上大幅度提高了產品優化效率,而不會延緩迭代。

▍論壇帖子類的app,怎么做算法使內容豐富且刷新后重復概率小?

答:這個問題太專業,其實不夠資格回答這個問題。

不過我可以說說外行的看法。

要讓新帖子更多,就需要多做用戶運營和內容運營。

產品上,鼓勵用戶多生產內容,比如新發帖子有獎勵,長回復可以很方便的生成獨立帖子,以及打通微博等內容平臺,方便用戶在其他平臺發內容的時候在我們的平臺同步發。

640_004

虎撲論壇

排序算法可以把用戶沒有看過的帖子排在前面,帖子新鮮度高的排在前面。還有,用戶看過的帖子可以用淡顏色展示,讓用戶關注沒有看過的內容。

當然,我說的所有這些方法都是錯的,除非你實際用A/B測試跑試驗證明了有這些方案的產品能有更好的用戶數據。

在這方面美團大眾點評很有經驗,他們會在你下拉刷新的時候不斷給你推新店。

▍怎么定義電商平臺的第一核心指標?

答:我個人的感覺,GMV640_018

新興租衣電商平臺

▍對于創業型公司,怎么說服老板重視A/B測試,如何從0到1完成A/B測試?

答:如果老板本身就是產品的決策者,那就跟他說說人人網的案例。人人網的信息流頁面借鑒了Facebook的一個試驗版本的設計。不過這個設計在Facebook做的A/B測試里表現不佳,降低了10%以上的營收,降低了用戶活躍度。人人網不做試驗直接上線的裸奔方法,是在碰運氣,不是在做企業。

頂級的PM也只能跑贏一半的A/B測試,現實中超過20%的試驗都是對公司業務起反作用的……這個風險不值得冒。

像Uber, Airbnb, Wish這些新一代的企業,都是從第一天開始就做A/B測試來做產品迭代優化的,所以他們才會不斷提升高速發展。

如果老板讓你全權負責產品,那就先斬后奏,先跑一兩個簡單的試驗,把試驗結果給老板看。相信她很快就能明白你為公司的良苦用心。

▍什么情況下需要或者適合做A/B測試?

答:其實當產品到一定規模的時候,任何改版都應該首先經過AB測試小流量驗證。

如果從來沒有用過AB測試,那可以先嘗試從一個小改動開始,熟悉AB測試的實施流程。

然后就像我們前面說的那樣,在關鍵環節的修改上做實驗。

特別是后端算法變更,更是必須經過AB測試。我們有個客戶通過AB測試迭代后端的商品推薦算法,發現一個經典算法可以提升推薦商品購買率5%。

 

如果沒有經過AB測試,可能后端大牛的貢獻就被埋沒了。

關鍵環節熟練之后,我們可以并行的去嘗試更多的地方的修改。

最終形成一套以AB測試為核心環節的上線流程。

需求評審 – 建立試驗方案 – 新功能開發 – 灰度發布 – 小流量A/B測試 – 發布成功的功能,關閉失敗的。

▍在本來用戶量就不多的情況下,A/B測試時的樣本量如何取舍?

答:如果用戶量小,就50% 50%對比試驗。分層試驗可以大幅度增加并行試驗數量。

換句話說就是做大流量試驗。

特別提一句,如果可以采樣的用戶數量不到1000,那么基本AB測試結果就沒用了,會得到非常”寬“的置信區間。

比如[-500%,+700%]這樣的試驗結果。

▍平臺類的系統,一開始開發時總會有些需求沒有考慮到,后續有一些需求需要改變基礎架構。涉及基礎架構的模塊優化,若成本相當,此時優化還是填坑?

答:架構是具有決定性影響的技術決策。如果架構不好用了,那么只能一邊修修補補硬撐業務,一邊重構等待測試和遷移。

如果架構和需求不對路,基本上就沒法長久。比如Yahoo使用人工維護搜索詞的索引…

架構的遷移如果可能,也可以利用灰度發布來做,把前端流量分一小部分到新后端系統上,看看數據。如果數據有問題,趕緊回去改。

▍在公司的網站框架已搭好的情況下,網站優化應該基于原有框架還是用戶體驗?

答:這兩者好像并不矛盾,都非常重要啊。

基于已有的框架,小步快跑,迅速迭代,這個很有必要。同時每次迭代的時候,做試驗就是為了看能不能提升用戶體驗。

這個問題可能是說現有的框架有局限性,沒法支撐用戶的體驗需求。那么和上一個問題一樣,我的經驗是必須遷移到更好的新框架。

我們吆喝科技的AppAdhoc官網以及用戶后臺已經遷移好幾次了。現在的框架已經經過多次迭代。

▍互聯網產品應該如何將自己的產品數據?融入到大數據背景下,得到更多有價值的挖掘信息呢?

答:恩,這是一個很深刻的問題,好宏觀。

在產品的發展方向上,可以多多的積極的借鑒行業數據報告來指導我們改進的思路。集思廣益,多做AB測試實驗。

產品產生的數據和其他數據源的數據融合,一般需要一些打通,比如基于用戶id等。

(接上個問題)大家應該請教Domo的高手,就知道怎么做數據融合

▍社區服務類的020產品,有沒有什么好的功能或內容,讓業主們鐘愛的?主要是國內外,有沒有運營的好的案例?

答:一般來說,高頻的內容需求是非常適合O2O產品的額外功能的,比如家庭空氣質量、家人居住舒適度、補訂牛奶酸補訂椰奶

對于低頻的需求,很可能主要流量是來自于搜索。

那么更具搜索關鍵詞做一些產品入口的優化,引導消費者留意到產里附加的高頻功能,一定很有用。Airbnb就會提醒你工作一周好辛苦,周末天氣好,要不要出去玩。這種思路非常不錯。放松是高頻需求,旅游是低頻需求,但是兩者可以互相導流的。

▍產品設計上有哪些可以間接引導用戶搜索出自己想要的結果?比如電商,有時候用戶也不能很清晰的明白自己想買的是什么,推送的數據如何計算?

答:可以放一個”點擊此處有驚喜“之類的功能,引導用戶去探索自己的需求。

在搜索欄那里給用戶推薦一些搜索關鍵詞。

根據經驗,在一個類似百度糯米的App結構里面,搜索的銷量占到30%以上。幾個大圓圈分類占到30%。廣告占到30%。還有推薦算法推薦的內容,可以占到1%到10%。

推薦算法好的話,是可以占到10%的,這就需要有巧思。不僅是”和你類似的用戶喜歡買什么“,還有“你買的東西別人如果買了還會買什么”,以及考慮“你附近的人都喜歡買什么”,等等。

在時間維度,空間維度,話題維度,等等,都可以找到可以推薦的內容。

▍做眾包的產品,人人快遞,請問在產品上可以如何優化用戶發單的轉化?

答:免費促銷。

當然,這是在說運營以及市場。

在產品層面,我們可以沿著這個思路去嘗試。

比如說定價策略,可以把價格訂的高一些,然后著重強調優惠,折扣,等等。

對于特別理性的用戶,可以做產品內的“促銷”,比如派單有積分,連續派單有獎勵。

還有上面提到的從用戶的其他高頻需求入手:提醒該給女朋友送玫瑰花了。

另外,找一找你的magic number,看看什么特征的用戶派單比較多,然后針對這個發力。

知乎發現一個回答了3個以上問題的用戶,會比其他用戶活躍度高100%以上。

所以知乎會邀請新注冊用戶回答3個問題。

▍ab測試?切用戶和切服務器的依從什么樣的需求?

答:盡量從用戶端,也就是客戶端來做流量分割。這是因為后端流量分割更容易得出不準確的結果。

舉例來說,后端做了一個新功能,讓某個用戶來試驗體驗這個功能。后端指令發出去了,但是前端版本升級或者操作系統出了問題,可能用戶就沒有真的進入這個試驗。

那樣試驗結果統計就有問題。特別是某些瀏覽器或者某些手機型號,真的不太容易保證渲染正確。

適合做后端分流的試驗一般是推薦算法,排序算法之類的純粹邏輯。

UI,用戶交互,促銷,推送,新功能,都適合在前端做分流測試。

▍當產品日活量在50萬的時候這個時候應該是拉新還是留舊?

答:這個當然要聽老板的。

如果你就是老板,那么我建議你專注在留存和轉化的優化上。

已經被無數個優秀的產品證明過,用戶粘性是最重要的。

拉新是可以在留存超過競品很多之后再做的事情。

▍在產品的運營過程終中,會對某些模塊進行一些探索性的運營測試,如果產品框架搭不好,就導致每次測試都需要迭代產品。對于產品框架的搭建,有什么好的建議?

答:推薦使用AppAdhoc的模塊化開發方法。

定義和使用試驗變量來控制新功能的模塊,保證可以用一個變量作為模塊的開關,隨時在線打開或者關閉某個模塊。另外,模塊開發過程中,可以用變量來讓模塊更加容易測試。

隨時測試模塊里的參數是3好還是4好,按鈕位置是左邊好還是右邊好,文案是“立即升級”好還是”至尊會員“好等等。

具體的在開發方法,在我們官網的文檔里有詳細的介紹。

這套模塊化開發方法,和Google內部幾乎一模一樣,有非常高的參考價值。

▍A/B 測試中變量如何控制?

比如說樣本大小,測試周期等等。

答:試驗的周期一般是7天,覆蓋周末和周中的用戶行為。

對于復雜一些的測試,可以跑2周甚至1個月。

樣本大小,有一個很巧妙的辦法,就是看試驗結果的置信區間的收斂速度,如果置信區間達到[3%,5%]已經可以決策了,就可以停止試驗了。

關于試驗的設計,實施,和各種經驗,我們可以線下詳細討論。

▍前端 A/B 測試與后端 A/B 測試的區別?

答:這個剛才有個問題有涉及。后端測試就是在后端分流

當然,后端測試也可以在前端分流,然后分流之后的用戶請求帶上試驗標簽,后端可以根據標簽進行不同的響應。

還是那句話,盡量多在前端分流。純粹后端AB測試就只做純邏輯改動的大流量試驗。

▍如何更高效帶產品團隊?

答:這個我有一個非常靠譜的建議。

讓PM們,特別是年輕的PM們,都腦洞打開的去做各種各樣的小流量的AB測試。

讓他們發揮自己的創意,小到改改文案改改顏色,大到一個新的小功能。

然后帶他們一起開會,會上分享試驗經驗教訓,分享實驗報告,總結經驗教訓,互相提意見。

相信我,3個月后,你會擁有一支產品經理的特種部隊

▍產品優化應該從哪里著手呢?

答:產品優化的著手在前面一個問題已經說過了,還是從關鍵環節入手,特別是流失率比較大的環節。

比如新用戶注冊,可以試試看大幅度簡化,比如不要文案,就給出用戶注冊的必要填空框。

說不定AB測試能發現這個提高注冊率

▍在Boss產品下,怎么提出自己的想法?

答:跟Boss說競爭對手做了新改動

向Boss提議做一個1%流量的試驗,肯定比向Boss申請上線一個新功能要容易很多。

▍社交類的AB測試應注意一些什么?

答:有一個特別需要注意的是試驗單位。

只有試驗單位互相不怎么干擾的時候,實驗結果才可信。

所謂”試驗單位“之間”沒有依賴性“

比如如果你是給男女朋友聊天用的工具,那一對couple就應該劃為一個試驗單位。

如果男朋友進入了一個試驗,那就得保證女朋友也進入同樣的試驗。

兩個人同時體驗新功能。

否則,兩個人行為互相充分干擾,男朋友看到這個功能,女朋友那里沒有這個功能,這個試驗就會出問題了。

其他的要注意的和別的行業也都差不多,就不多說了。

▍請問 to B的產品應該如何做 A/B 測試呢?

答:2B 和2C 沒有什么不同,但是難點是流量很小,很難得出有統計意義的結論。

但是2B可以針對大客戶的行為做針對性優化,比如仔細觀察一個改版會怎么影響王思聰的下單率,肯定能產生效果。

▍流量特別少,如何做 A/B 測試,我想問下,多少用戶開始做測試是有意義的,得出來的測試區間是比較科學的?

答:需要1000個樣本的采樣。用戶數量不到1000就不行。

推薦日活1000以上就開始做試驗。

▍不同語言國家地區的 A/B test都不同往往做7天以上還得不到充足的樣本數量,這時候怎么辦?推廣想辦法么?

答:哈哈,主要是中國太大,其他國家太小。所以還是中國企業幸福,可以充分利用AB測試

▍問一個比較細節的問題? app做ab測試呢 比如ios

答:iOS也可以集成我們AppAdhoc的SDK,就可以很方便的做 A/B 測試了

這個工具方面,已經非常完善和強大了。

17105 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 时时彩猜大小单双技巧 斗牛棋牌游戏 北京pk10技巧万能码 永城福彩中奖 重庆时时彩五星3码必中 金尊 时时彩平投1:1盈利技巧 云南时时前三走势图 北京pk10直播网站 北京pk10六码倍投