王曄-A/B測試驅動的產品優化和科學決策實踐

ceo

在吆喝科技和 pmcaff 聯合舉辦的“大咖分享會——運用大數據驅動創新發展”中,吆喝科技創始人及CEO提到了如何用A/B測試驅動產品優化與科學實踐。

 

王曄在分享中談到了什么是A/B測試,以及如何用A/B測試驅動產品優化與科學決策的一些新鮮案例,其中就包括他自己在 Google 負責廣告創新研發時期的A/B測試經驗,以及創業吆喝科技做復雜系統數據挖掘和分析的經驗。

 

下面是正文:全文9000字,讀完需12分鐘

 

今天這個活動,是我們吆喝科技聯合主辦的,我們兩家有一個愿景,幫助大家做產品也好,互聯網相關的運營和增長,以及其他的業務也好,希望我們能夠把我們的一些經驗,包括像Google,還有優步,墨跡天氣等非常成功的企業,能夠聚焦的形式,濃縮的形式傳遞給大家,幫助大家以后的工作,創造環境讓大家共同學習交流,共同推進互聯網產品的發展,最終造福廣大終端的用戶,這是我們的愿景。

 

吆喝科技做的事情,做了很多研究,AB測試,是一個很有用的方法,以及很有用的一套軟件,可以幫到大家在日常的產品工作,還有互聯網的運營里面,可以幫大家提升自己的業務,能驅動所謂的產品優化,以及企業內部的科學決策。

 

今天重點就是說一說產品優化和科學決策的一些實踐,大家可以感同身受一下,看能不能獲得一些啟發。

 

簡單介紹一下我自己,我其實是清華的本科碩士學的電子工程,無聊的專業,后來去了美國的耶魯大學念的計算機的博士,研究的方向計算機軟件系統,互聯網軟件,互聯網系統的設計和優化,寫過一些論文,專利什么的,后來在美國的Google工作兩年,有產品等的東西,主要Google廣告搜索的優化,可以理解我當時的工作就是使用包括AB測試,包括數據分析,包括我們日常的經驗還有拍腦袋的創意,種種方法試圖讓Google搜索廣告的產品變的更好,好的定義,從Google對外的宣傳就是說希望能夠把更有價值的用戶不了解的信息,能夠通過一種更友好的方式,用戶體驗更好的方式傳遞給用戶,給他更有價值的Google生成的內容,提高用戶的體驗,幫助用戶提升自己的生活品質,這是對外的宣傳。對內其實不是這個概念,對內很簡單,怎么廣告的點擊率提升,讓Google多賺一點錢,跑了很多的AB測試,試圖找方法改一改自己的廣告,推出一些新的功能,可以讓用戶更多的點擊廣告。

 

告訴大家一個數據,我做過很多的實驗,最后那些成功的實驗,讓Google賺更多錢用戶推向所有的用戶上線了,這些東西都上線,如果換算成數字,相當于每年幫Google多賺五億美元左右,其實在Google看來并不多,但其實也是很大的數據,AB測試,包括數據驅動產品優化的力量。

 

那么說到我的老東家,不得不提數據驅動文化,不光是在Google的搜索產品,安卓等大家聽過的產品里面,甚至Google很多日常的生活方面的決策,也會用到AB測試這樣的思想,我舉一個例子,比如說Google有自己的食堂,有很多很多的食堂,這些食堂里很多地方可以優化的,舉例來說,給大家提供什么樣的餐,是給大家吃一點雞肉,還是豬肉,還是牛肉,到底什么樣對大家健康更好,更有助于大家產出更多的代碼。還有一個例子就是餐飲盤子大小,這是非常有意思的實驗,當時大家就會覺得Google的員工每當工作超過三年之后健康程度有滑坡,不知道為什么,可能跟飲食有關,體重會增加,頸椎病和腰椎病,病假變多,當時想怎么改變一下,想鼓勵大家少吃一點,有助于大家的健康,把食堂里的大盤子變成小盤子好不好,當然有人反對,當然大盤子好了,這樣一個人吃了很多小盤子,裝了一個盤子沒吃飽又得再裝,這樣其實效率很低,增加排隊,反正兩方的意見很多,后來跑實驗,AB測試,什么意思呢?嘗試幾個類似的食堂里,推出不同盤子的方案,然后來對比哪個能夠產生在食堂吃飯的這些員工健康程度最好,這樣一個實驗。那么最后得出一個結論,可以理解為三類實驗,第一個實驗版本是說這個食堂里都給大家大盤子,只有大盤子,第二個食堂里只有小盤子,第三個食堂有一些大盤子和一些小盤子,大家可以猜一下到底哪個最好,最好的是第三個方案,很少數量的大盤子加上很多數量的小盤子,這是最棒的效果,使得員工的病例的數量盡量少一些,大家健康程度更高一些。

ab測試原理

還有一個很有意思的實驗,關于辦公室的顏色,大家看到我們這棟樓辦公室顏色主要白色為主,包括一些灰黑點綴,主要是白色,如果做一個實驗,比如說在二層刷成黃色,三層刷成綠色,四層刷紅色,對比三層大家的工作效率,比如對工程師來說可能效率代碼提交的數量,或者BUG的數量,項目上線發布的數量,對比一下哪個更好,Google做這樣的實驗,最后的結論紫色比較好,如果辦公室刷成偏紫的顏色工程師產出比較高,產品經理會更有創意,沒有人知道為什么,這是實驗結果。

 

大家已經有體驗了,這就是AB測試的思想,大家對某種設計,或者某種方案,或者是某種想法,意見不統一,各有自己的理論的時候,這個時候最好的方法就是在現實之中拿真實的數據,真實的用戶,真實的流量跑一跑,然后找到最關心關注的KPI指標來對比,數據來對比,告訴哪個方案更好。這種思想其實很簡單,但是在實踐當中有一個核心的問題,就是如果我們做測試的時候,我們沒有考慮其他因素的影響的話,這個實驗的結果可信性和科學性就不夠,換一句話說,大家知道現代醫學和傳統醫學的區別,其實有的時候大家并不一定知道他們有一些區別,比如醫療的方法,對人體還有健康的一些看法等等,除了跟醫學相關之外還有一個普適性最大的區別,就是科學性。對于傳統醫學來說也會通過測試,實驗的方法證明自己有效,比如有新的傳統的療法,怎么證明傳統療法好,就會去找到一些患者,真的用這個療法對他進行治療,去看他們能不能治好。傳統醫學這個實驗結果不科學,不科學在哪兒呢?沒錯你有一個很好的療法,然后能夠治好一千個人,但是這并不足夠去證明你這個方法真的好使,因為也許要治比如兩千個人才能夠治好一千個人,對比另外一種療法,兩千個人能夠治一千五百個人,你這個方法不一定能夠證明自己好,同樣雖然能夠治好他,會不會帶來一些其他的副作用,或者負面的影響,也不一定知道。

 

所以現代醫學對這個實驗的要求就高了很多,怎么能通過實驗證明你確實有療效呢?他用的這種方法就是目前為止,怎么說呢,實驗里面最最科學,而且廣泛受到認可最高標準的方法就是所謂的AB測試。AB測試的意思就是說我要用一個,統計學意義來講,可以去證明他有療效的一種實驗的方法,那么AB測試,就是把患者分成A組和B組,一種管他叫對照組,一組管他叫實驗組,那么注意這些患者他們的病情病例,還有其他的情況基本上都是相似的,然后把他們均勻的分到實驗組和對照組去。

 

然后我們會和這些患者,去告訴他,我們去測量一個新藥,注意的是去告訴他們我們要測量新藥這一件事情,是一個所謂的單方實驗,就是說這些患者不知道自己被實驗,他認為就是在嘗試做治療的過程,然后但是我們其實偷偷做了實驗,我們讓實驗組的患者他們服用是我們想測的藥,然后對照組的這些患者他們服用是和這個藥長的很像所謂的安慰劑,然后他們都認為在服用這個真實的新藥,最后我們來看服藥了之后,采取療法之后如何,看他的康復情況和病例,最后根據情況,如果實驗組的患者他們使用了真藥之后確實比對照組的安慰劑好了一定的比例,統計學的意義好了很多,副作用上幾乎沒有增加,才能夠證明你這個藥是有療效的,才有可能去FDA和FDB去申請上市或者什么的,商業化的。

 

所以看到AB測試是現代醫學的核心,有了這個東西才有了現代醫學,這是大概19世紀發生的事情。以前的18世紀或者什么時候,可以坦白告訴大家,西醫是比中醫更加離譜的醫學,而且離譜很多,這個故事我就不說了,有機會可以跟大家講,在現代醫學誕生之前,西醫其實是非常糟糕的,他們經常會說,他們當時的理論很好玩,說如果我的這個療法一定是有效的,凡是那些沒有治好的都是得了絕癥,他們都會死掉。另外認為直腸是人體健康的關鍵,都是很離譜,醫學發展歷史上很有意思的故事。

 

再說一個枯燥的概念,AB測試的統計學意義。其實是這樣,是一個分離實驗,對照組,實驗組,有可能多個實驗組,比如你的產品某個頁面或者某個產品的環節,然后你把來到這個頁面的訪客,這些用戶,如果是網頁的話,每個業務單元聚合起來,形成實驗組對照組。相當于用戶請求分開,比如說最上面的一組用戶他們體驗的是A版本,就是所謂對照組,然后實驗組的用戶他們會被分配到B版本和C版本,有不同的體驗,這三組用戶行為互相不交叉的,不會先體驗A或者再體驗B,不會的。完成這個體驗會有一些行為,比如關注他是不是下單了,是不是點了廣告,是不是購買了裝備等等,關心這些指標可以拿出來,一般來說我們所謂叫轉化率,有了這個體驗之后看他的轉化率的數據,這些數據要進行一個對比,對比的話其實相當于說是你做了三組不同的版本,或者多組不同版本的用戶數據的采樣,然后通過這些樣本來倒推這三個版本是不是有本質的區別,你可以認為三個版本是三個隨機過程,通過采樣判斷三個隨機過程的參數是不是有巨大的變化,大概這樣的思想。

 

當你把AB測試應用到你的互聯網產品的迭代,還有你的運營的實施之中,你就可以保證你的產品走勢在不停的提升,只要通過AB測試的方法不斷的迭代自己的產品,或者上線一些運營的話,會保證你下個月一定比這個月的轉化率更高,產品更好,會越來越好。只要你的內部越來越好的話,外部會辦的越來越輕松,增長團隊,或者市場團隊,可以更方便的去打市場和地推,買廣告或者怎么樣拉新,然后他們是事半功倍,最重要可以讓你的用戶體驗越來越好,讓用戶越來越喜歡你的產品,這是最重要的。

 

我聊的很多做移動互聯網,或者互聯網朋友的產品來說,他們都認為口碑是最好獲得用戶的方式,然后你可以不斷的做AB測試,不斷持續的優化,尋找改進的空間,沒有這一套工具和方法的話,持續的優化就完成不了。比如Google,Google的產品已經優化的很不錯,幾年前優化的很不錯,現在依然還可以做到這個月比上個月好,下個月比這個月更好,就是因為可以不斷的去做實驗,找到比現在更好的方法。像百度,像俄國的或者韓國的阿拉伯的這些搜索引擎,他們都可以抄襲或者借鑒Google,但是Google沒有人可以抄的,做的事情就是不斷的做AB測試。

灰度發布

其實AB測試在互聯網產品上的應用,倒確實是我們互聯網人對這個世界的貢獻,很多傳統企業沒有這樣的工具和意識。互聯網人第一天開始實踐了大家所聽到的MVP,換一句話說,我們都知道我們的用戶肯定想要一輛保時捷,這是最終想要的產品,但是不會傳統的軟件工程,最上面的公法,知道你要保時捷,設計一輛保時捷,先一個輪子,然后底盤,車身,組裝成保時捷。我不是大公司,是創業公司,跟著市場走的很快,不能像微軟一樣,軟件工程就是這么做軟件的,如果互聯網公司可能這兩年所有的機會都已經失去了,所以一定最下面的方法,需要保時捷,先給他能開的破車,然后迭代,通過AB測試怎么改進這個車讓用戶最喜歡,最后就改造出來一輛保時捷,就完美了,中間這種方案如果不是通過小的迭代,而是通過大的改動,先給一輛滑板車再給一輛單車,這種模式不是互聯網思維,這個模式是必死的一個模式。

 

那么再說一下現實中AB測試的使用,在現實之中,我們做AB測試,或者是形成這樣一種觀念,其實都是非常自然的。就是我們會很關注我們產品里面哪個地方有問題,比如是不是跳出太多,注冊的流失太高,或者是給用戶展示了很多商品,但是點擊率,詳情瀏覽太低,還有如果你是電商類的肯定非常容易發現購物車放棄率很高,很容易通常日常的數據發現很多地方有問題,有待提高,這些地方怎么提高他們,通過做實驗的方式分析判斷種種方法。

 

比如一些軟件工具告訴你什么地方有可能做提高,你會去通過做實驗的方法嘗試改進,然后這些東西,只要改進一點點就可以實現增長,非常簡單。其實這種思想也有人把他總結起來叫做所謂增長黑客的思想,就是說把整個的產品,還有運營的模式,互聯網產品,互聯網運營的模式把他模型化,簡單化,把整個用互聯網用戶流量的體驗把他拆分成五個轉化率環節,所謂的AARRR,海盜模型。

ab測試工具

那么五個環節分別是什么,大家可能也都聽說過,第一個A是拉新,打廣告買流量地推,第二個是激活,買來的流量怎么使他更多轉化注冊,或者下載成為你真正的用戶,很多人在做,AB測試會做的更好。第三步是最難做的,也是產品經理,我覺得當然個人觀點,可能是最重要的一件事情,包括至少留存最重要的指標,我們做產品做的好還是壞就看留存,如果同樣提供的功能,如果你的產品比你的競爭對手留存率高,就比他牛,就這么簡單。然后最后還能產生兩個更加直接見到錢,我們領導比較關注的事情,所謂口碑營銷,能夠成為你的忠實用戶,并且告訴其他人,我們用墨跡天氣,就會分享給我們的朋友,分享給愛人說,明天要下雨,應該打傘,或者天氣冷要穿衣服,這是產品本身帶給我們的用處。更重要可以讓產品直接通過口碑的方式獲得更多的用戶。最后一個環節直接產生營收了,比如聯絡廣告,或者下單了,或者注冊成我們的學生開始上課,如果金融類可能會購買我們的金融產品等等。這種增長黑客的模型的話,有點像傳統的增長,或者是地推,或者廣告的這種形式,有點像標準不對,或者正規軍,很傳統。而增長黑客有點像特種部隊,你的方法有時候很有創新性的,更加關注用戶很細的體驗,通過這種方法來增長,而且很低成本,高效率的這樣一個思想。

 

其實剛才我已經提到過AB測試用在日常當中的東西,這張圖更直觀的流程展示出來,比如我們首先通過統計和分析,來發現一些增長的機會,這個尤其可以用PTN還有類似的,可以去分析,然后找到一些增長的機會,然后把你的改進的想法通過改進的假設,AB測試來部署和實施,然后來驗證,最后發現確實能夠得到改進,最終發布給所有的用戶,就是這樣一個流程,其實是一個閉環,后面我會提到。

 

注意一點,AB測試并不能夠替代你的創意或者你最大的貢獻,你自己肯定要想這個產品功能上多做一點細節,或者應該是在這個UI上做一些調整,或者把這個加入購物車,點擊領取大獎,或者這里綁卡變成點這里提現,很多這樣的想法都來自于這里,只是通過AB測試驗證他是不是有效,很多人和你想的不一樣,然后這樣的一種思路,其實可大可小,有些很細的,有些很大的。

產品優化工具

具體來說,可能有的時候我們是在我們的按紐,比如說添加購物車按紐,或者注冊按紐,我們在這個上面做一些優化,其實說到這個,有很多不好的優化方式,就是說大家不知道有沒有下載過一些軟件,到一個網站搜到想要的軟件,然后就會點到下載頁面,會看到很大的按紐,但是那個按鈕點了之后下載不是一個軟件,是病毒或者別的東西,說明你去優化這個按紐,確實會提高轉化率的,但是你得善用,不要亂用,還有UI界面設計,還有菜單功能頁面設計,美團經常做菜單的頁面變化有什么影響,頁面的布局,還有推送的消息,會用的很爛,大家經常收到消息,一百元的大禮包待領取什么的,這種推送消息確實轉化率比較高,但是不要亂用,你看指標的時候不要只看推送消息的點擊率,還要看用戶的留存這些更關鍵的指標,界面之類的。

 

除了剛才說的小的細節之外,還有一些大的地方也可以用到我們說的AB測試,還是互聯網的例子,我很喜歡。知乎通過數據分析發現一個新用戶回答超過三個問題活躍度比其他的新用戶高一倍以上,想到一個想法,通過數據分析想到一個想法獲得增長,能不能對任何新來的用戶邀請他回答三個問題,看看會不會提高活躍度,他做了一個實驗,如果你是一個男生,你注冊了之后就會美女邀請回答問題,回答三個以后不邀請你了,通過這種方法實驗結果非常棒,這個實驗其實挺復雜,最后效果確實很好,變成日常的,所有人都會有這樣的體驗。除了像這樣之外還有一些稍微傳統一點的體驗,他們也可以做這種大的AB測試,比如后臺的派單的算法,兩個不同的算法能夠產生多少效益成本上的區別,還有這種金融的風控,兩個不同的風控策略,客戶中國銀行做過,不同的風控策略哪一個帶來更好的業務,更低的逾期和壞賬等等,有很多可以測試的地方。我們知道像美團和百度他們會在自己的排序算法和推薦算法做不同的版本預測。

 

實踐當中還有很常見的應用場景,就是我們做實驗不僅是為了實驗我們關注的那些KPI,當然用戶的下單量,購買量,廣告點擊數和營收等等,這些大家都知道。還有一些其實也跟我們的工作息息相關,比如我們運維部門的一些指標,就是說,如果我上線一個新功能,會不會拖垮我的服務器,或者會不會帶來我的客服人員突然一下被擠滿,這些東西也是可以通過AB測試小流量發布,推送發布這樣一種思想來解決。就是你的新功能,或者你的新想法,運營策略,比如促銷什么的,先推5%,或者1%,或者體量小,當然可以推20%的用戶,然后來看看數據怎么樣,最后發現也許20%的人已經把你拖垮了,趕緊把實驗關掉,如果發現20%只需要很少的資源可以支持,而且數據不錯,一個是你自己的支持的不錯,成本不錯,你的效益不錯,推到50%、80%、100%,這是很常見的實踐了。

 

然后再說一些AB測試,我們到底什么樣的場景下可以去做實驗,以及你對他的期待什么樣子,比如說價格的展示,同樣是75塊錢,這是類似旅游產品,同樣75塊錢展示二折,展示折扣,還是展示成實際的價錢,可能不同的用戶點擊量或者轉化率不一樣,說到這一點,如果有經驗的產品經理馬上會感覺到,右邊這種方式75美元一晚,比較適合給男性的消費者,折扣比較適合給女性的消費者,因為大家不同用戶思維方式不一樣,男的不在乎到底多少折扣,就在乎到底多少錢,這是一種,做了一兩年之后馬上有這個感覺,但是到底對不對還得跑實驗才知道。跑AB測試測一測,你的用戶哪個更喜歡,還有定價,同樣定四百塊錢,是四百塊錢展示成0到900的四百還有0到600的四百,會影響用戶的心理,可以做測試哪個能賺更多的錢,還有包括四百塊錢也可以399,或者398,或者402,可以看哪個帶來的營收更多。

數據決策優化

現在慢慢進入一些稍微有意思的話題了,那么我們來看后面會說一些吆喝科技用戶的案例,讓大家有更直觀的體會,這個案例是泰康在線,泰康是一個保險公司,也有自己的APP和網站互聯網產品,比如會考慮到對自己的廣告展示數量做一些研究,然后可以做一些對比,會發現把可展示的廣告數量稍微增加一點,下面的這些東西擠下去了,看上去好象有一點損失,但是實際效果還是很不錯的,大概提升了5.1倍廣告的轉化率。

產品優化

再看一個,Max+游戲公司,是我們的用戶,Max+在很多產品可以不斷的優化,注重數據的游戲公司,甚至論壇里面也愿意分享很有意思的案例,論壇帖子的排序,希望看不同的排序方案對帖子點擊率有沒有影響,很多時候產品經理,包括我自己有的時候覺得帖子找一個編輯,靠一個優秀的編輯姑娘,可能能想出來很好的方法獲得點擊率,也不要小看工程師們,他們有一些算法也是很棒的,也能提升的,你看對比了原始的點擊量高于傳統的算法點擊量,很有意思的結果,推出新的算法不如原來的算法好,當然找更好的算法可以點擊越來越多。

APP優化工具

再看一個中國移動的案例,和我們合作我們自己很有壓力。他們做的實驗很大的實驗,比如詐騙短信的識別功能,就是如果大家用中國移動的一個APP,4G流量管家,大家看都是查一查帳單,買100兆的流量包,做這個事情,這個可替代性很強,支付寶能夠替代,這個產品用戶不一定會用,希望能夠提高用戶的使用率,活躍度,留存,那么會推出嘗試做各種各樣的實驗來提升,那么其中有一個實驗很成功,我們也很喜歡。所謂詐騙短信識別,就是說如果你收到一條短信可以打開APP點這個東西能幫你說這一條短信是不是詐騙,我覺得其實對老人挺有用的功能。

APP優化技巧

然后想法很好,我們做實驗試試看,首先實驗要解決就是剛才的灰度發布,小流量測試,解決對內的測試,這個功能并不完全全自動的,點了這個東西之后有的時候需要人工在線幫你判斷,所以到底需要占用人工多少的時間,多少人才能夠完成,所以做了這樣的實驗。后來發現20%的用戶參與這個實驗,發現需要大概幾十個人服務全國的用戶,他就知道,大概需要幾百人的規模客服團隊,后來推到50%,最后推到100%,上千人的團隊來服務,同時結果很不錯,活躍提升了10%,留存提升了3%等等。

 

再看一個Dior的例子,他的客戶比較傳統。產品經理和運營人員自認為比咱們在座的人會牛的,他們會覺得對女性消費者很理解,我知道女孩會喜歡什么東西,所以上面的原始版本推出口紅是這樣,往下滾可以看到這些口紅可以點擊購買,自作聰明說可以這樣設計,這個設計就是說,模特和消費者有演示和交流,更加能夠貼心或者吸引下單,如果沒有記錯,實驗結果非常失敗的,原始版本應該比這個實驗版本要好了3倍的轉化率。

所以就是說雖然有的時候我們自己產品經理跟這個經驗會覺得我們很理解自己的用戶,但是實驗結果,做一個實驗真正跑下去會知道是不是這樣,這是一個科學性最重要的地方。我們可以像傳統的醫學那樣我們去按自己的想法來,按自己的經驗來,我們也可以按現代醫學的方法,做實驗的方法,我相信這個方法會越來越受歡迎,然后正好可以為墨跡天氣引出,這個是墨跡天氣跟我們分享的案例,他們做分享按紐,剛才提到愿意天氣分享給自己的朋友,自己的女朋友男朋友或者什么之類的,可以讓他們去知道天氣怎么樣,應該多穿點,或者涂點防曬,更重要獲得用戶。其中一個效果最好提升了18%,11.9%到23.6,如果方案三上線我們有足夠的新鮮會提升11.9%分享的點擊率。很有意思,這個經驗很好玩,后來我們跟他們聊的時候,他們的產品人提到過,第三個方案其實是蘋果設計的分享按紐,很棒的。

 

如果大家沒有做過AB測試,我相信可能在座的朋友如果經驗少的話確實沒有過,那么這里有一個所謂領域內的一個大拿推出的所謂七條經驗,我覺得蠻不錯,現在看一看不會有感覺,但是可以記住,以后實踐當中很有幫助。

網站優化技巧

第一條經驗,效果驚人。就是真的當你做了一些實驗發現有的時候小的改動能夠帶來非常大的影響。像Google,甚至我記得我在的時候,他們一個本科畢業的小朋友,實習生,做了一個實驗,提升了6%的廣告點擊率,幾十億美元的營收增長,很可怕。大多數改動并不影響你的KPI,很多時候確實,你的產品里面的核心功能,或者什么,對于用戶的影響就是那樣,小改動不會有效。

 

有一個Twyman,出人意料的圖表都是統計錯了,希望大家用很好的統計工具,像吆喝科技的,另外很多產品不一樣的,復制他人的經驗往往沒有什么用的,有很多的例子,但是可以想像,如果京東的電商去把產品的體驗流程借鑒一下淘寶的流程一定是災難性的后果。

 

但是任何能夠加速用戶響應時間的改變一定會帶來KPI的正向提升,這一點大家要記住。如果你的工程師或者這些技術同事們他們說,我有一個辦法可以讓H5加載更快,或者有一個辦法讓用戶注冊更快什么的,要無條件支持他,這個動向一定是正向KPI,而且可以做一個實驗,拿這個東西找領導說我要加薪。

 

然后關注產品質量,還是那個意思,我們有的時候優化會走上邪路,就是說我在某一個頁面找一個大美女點擊率會很高或者怎么樣,有一百元待領取抽獎之類的,這些東西會提高某一個地方的轉化率,但是對用戶的產品質量來說并不一定有幫助。有一個非常經典的例子,如果你做電商O2O,以下單為主的產品,你會發現,如果你在商品展示頁面或者列表頁面里面去加強每一個商品的價格,那么價格顯示很清楚,非常有可能你的商品詳情瀏覽的數據這個量會下降,用戶會更少點開你的商品,但是最終用戶的交易量會上升,因為你的商品展頁的時候,在列表的時候更快找到自己想要的商品,不會點進去發現好貴或者點進去發現好便宜不買,會更快找到自己喜歡的商品。同樣可能每天頁面停留2分鐘,但是如果能夠更快的找到想要的東西更有可能更多的下單或者更快的下單,這些都是很好的。

 

盡量做一些小的實驗,小到一些細節,按紐、文案、圖片、流程等等,盡量不要做特別大的實驗,Facebook曾經60個人開發了一年新的以圖片為核心,用戶活躍下降了十幾,廣告下降了20%,最終這個實驗失敗的,關停,人解散,他們的產品副總裁都次之了,可以看到盡量不用做特別大的實驗,特別大的改動干脆別做實驗,直接上線,獲得領導的支持。

 

剛才說了有了這一套工具我們會形成一個閉環,首先發現確定問題找到我們產品里面有什么地方可以提高的,是注冊、下單,還是什么地方,留存,提出假設進行實驗,我們做了什么改動應該會帶來一些什么效果,跑實驗室看是不是這樣,采集數據,分析解讀,決策和總結改進,形成閉環不斷的優化,這是AB測試常用的方法。
提問1:我想問一下,咱們是AB測試,那咱們在分流的時候怎么保證分流的均勻。

王曄:實際上是這樣,是我們吆喝科技的技術主要解決的問題,不光是保證分流的均勻,而且要保證調流量的時候仍然能保持科學性和均勻性。我們的做法其實是通過,2013年有一篇論文講的這個,我們叫分層分流,我們會對用戶,根據他的屬性還有行為,對他進行一些分類,然后再進行采樣,我們會后臺把用戶的實驗組,這些都事先采樣好,然后做實驗的時候,不需要做A測試,直接有一個可以用的實驗組,實驗組為單位分配到實驗里面去,這個可能有點粗糙,但是要感興趣可以關注我們,或者和我們詳聊。

 

提問2:還有一個問題,咱們現在做AB測試,但是就是說行業里面應該有一些其他的公司在做這一件事情,咱們的產品比那些公司好的地方,優秀的地方在哪里?

王曄:我們首先提供SDK和API,可以很靈活,無論是在后端,比如C++或者+了代碼都可以進入我們的平臺做AB測試,然后當然包括這種更常見的APP和網頁都可以,其他的像VWO等他們都是聚焦某一個場景,移動應用或者廣告頁面等等的,我們就比較靈活通用。

 

吆喝科技:國內唯一同時支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 測試服務的專業 SaaS 平臺。支持線上灰度發布、多維度數據統計分析、科學的流量分配系統、一鍵發布新版本無需應用市場審核、定向測試。

 

用數據幫助用戶優化產品,提升轉化、留存和你想要的一切。 AppAdhoc 用數據驗證最佳方案,提高產品設計、研發、運營和營銷效率,降低產品決策風險。

4185 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 3D杀6码公式表 云南十一选五开奖结果今天的 新快3走势图 内蒙古十一选五规律 麻将图片大全搞笑动图 全民k歌怎么赚钱6 天易棋牌游戏的官网 篮球类小说排行榜完本 万豪彩票网址 臼小爼一笑一码期期准