從財富500強產品團隊完成的2000個試驗中學到的

ab測試

“精益改進”已經席卷整個企業世界,但是對于產品團隊來說,在適應試驗驅動的潮流以及基于客戶數據來決策的過程中仍然有著無數的障礙。為了幫助大家更好的適應這個過程,我們和財富500強的產品團隊合作,跟蹤他們從提出假設到客戶洞察的整個試驗過程,總結2000個試驗之后,我們學習到了很多關于企業文化、用戶研究的本質及產品管理的流程。

 

時至今日,我們的研究客戶包括來自AT&T, Capital One、PwC、Aetna 等等大公司的前沿思考的產品團隊。在這200個試驗中,總共產生660個原型方案,總共有將近400000的用戶給予我們的反饋,包括:46000分鐘的視頻采訪,6500張圖表,數以百計的毋庸置疑明智以及有用的產品決策。

試驗

我們整理這些試驗數據以及和客戶的訪談,用來驗證在這個過程中所學到的東西。以下是七個最有意義和可操作的見解:

改變是困難的。

老話說得好,真實就是刻苦。作為一家創業公司,我們必須時刻保持對世界的近距離觀察——與客戶交談可能會是我們工作重要的有機組成部分。但是,如我們所知的,在一個大型的組織中很少發生這樣的情況。

 

盡管一直以來都相信快速原型和試驗的價值,財富500強的產品經理通常在多個項目競爭優先級的情況下工作。用戶研究的成本很高,并且是有內部團隊或者外部機構以每月或者每季度的節奏來執行。按周甚至按天來完成用戶研究對于他們來說是聞所未聞的。

 

雖然“按需的用戶洞察”聽起來很吸引人,但在實踐中它挑戰了許多公司的慣例。其中最根深蒂固的是對“額外計劃”的偏見。當研究周期需要幾個月時,確保每個方面都是精心制作以及審查都是至關重要的。但是一旦當你將這個過程加速到幾個小時或幾天時,迭代就不要進行徹底全面的規劃。

 

我們的數據說明這種心態和行為的變化是多么的困難。在滿負荷運行時,每個產品團隊在平臺上運行的試驗大約是8-12個。即便在內部工作組和外部幫助,客戶仍然還需要三到六個月的時間來達到廣度。當然,有部分時間花在了解如何快速講數據轉化為決策。與從認識到計劃的研究與基于迭代的研究相比,大部分時間被作為產品團隊從瀑布開發轉敏捷開發的文化式消耗中。花兩個星期來概述用戶研究還是不可避免地存在缺陷,這和在相同時間框架內進行六次迭代是不匹配的。

 

Yammer 用戶體驗總監 Cindy Alvarez 反復強調在大型組織中“精益”和“客戶開發”的實際操作。她號召大家停止空洞的規劃相反直接去和客戶進行溝通,因為這樣是最有效的。

 

毫無疑問她是對的,這也是我們所大力號召投入的。我們在新客戶中進行研究,包括客戶洞察的基準競爭性和其各自產品的可用性。到目前為止,這是產品團隊開始迭代的有用的靈感。

 

有時,正式還是優于非正式的。

從之前的洞察的主題了解到,即使大公司達到全速,也無法像初創公司聯系試驗的節奏。最初設計的產品,使任何利益相關的人員都可以輕松提交一個臨時試驗,這是我們期望的狀態。不是即興運行試驗,通常情況下他們會每周提交試驗計劃。

 

事實證明這有一個很好的理由。雖然流程工作在創業公司中是有意義的,但它通常在大型組織內不奏效,這也許是因為其內部的項目組織架構不同并經常有內部競爭所造成的。產品經理在解讀客戶反饋和決定后續步驟時,會積極咨詢這些利益相關團隊。往往這就需要一個可預測及周期行的節奏來確保大家在同一狀態。

 

這就是為什么類似“沖刺型設計”的概念已經脫穎而出的原因,他們為利益相關的團隊準備時間來協調。我們正在接受形式在這里發揮的作用,并鼓勵組織內部定期全部召開“試驗會議”,直到可測試的假設試驗完成。

 

產品試驗可以分為不同的類別。

在我們搭建平臺和工作流程以加快用戶研究流程前,我們必須首先更好地了解產品團隊中用戶研究所需要的產品類型。這就是為什么,在開發之前我們使用第三方工具手動進行500個左右的試驗。

 

我們發現涉及原型的用戶研究試驗(不是在生產環境中進行試驗)基本可以分為六個類型。其中可用性測試是被廣泛接受的。雖然我們對于這些試驗的定義不是萬能的,但是他們還是比較驚訝每個類型的“經驗法則“及可配置的試驗模板。您可以在原型指南閱讀,以下是其概述:

所有運行的試驗的頻次分類如下:

我們還有大量的研究要進行,但這部分關于試驗的定義可以幫助用戶研究人員幾乎可以接受任何客戶的請求,并在幾分鐘內將其變成可執行的研究。

 

所有的研究都是帶有偏見的

我們的平臺主要包括所謂的“模擬環境”的試驗。提供反饋的用戶知道他們是研究的一部分并為此花費他們的時間。他們使用這些高度完成的原型產品,并且知道這些產品并沒有上市。

 

我們專注與這種類型的試驗,因為產品團隊可以從中獲得大量的數據,同時也符合組織現有流程以及風險承受能力。無需內部設計、開發資源,無價值的客戶成為半成品的小白鼠,且不用咨詢法律合規性。當然,這部分數據也許并不像已發布的產品所得到數據那么準確。

所有的研究,包括我們的都存在一定成都的偏見。但這不是一個避免進行完全用戶研究的借口。熱情地多更多的試驗研究,并試圖最小化其偏見,否則也許會錯過森林中的某棵樹木。

 

科學方法的核心原理之一就是可復制性的概念——任何單個試驗的結果可以通過另一個試驗在線。我們經常看到產品團隊使用單個“統計顯著性”來確認可疑的直覺或小項目。但是有一些因素可以,并且幾乎總是偏見測試的結果且沒有任何故意的錯誤。錯誤地問比較前沿的問題或車在目標客戶中不足的采樣都可能會造成個別測試結果的偏離。

 

為了從個別試驗和客戶的數據點獲得價值,產品團隊需要通過迭代來實踐驗證數據。即使任何既定試驗的結果偏移或過時,它們會被穩定的用戶研究過程抵消。如果你愿意的話,防止追求不重要結果的爆照是注意不要認為數據是可行的洞察,直到這個模式已經嚴格建立起來。

這就是為什么我們確保幾乎每個試驗都進行定性以及定量的研究。此外,我們努力提出可比較的洞察——很少能夠了解用戶在完全無感的情況下對原型的看法。在現實世界中,用戶有一系列選擇來滿足需求,所以我們需要確保方案的反饋總是參照另外一個替代方案。組合和優化這兩種方法大大減少了偏差,而且可以產出大量的數據來幫助我們識別模型和見解。大官人,我們也強調結合其他數據輸入的重要性,比如傳統的市場調研和應用內分析等等。

 

用戶的反饋一直讓我們感到驚訝。

你也許會認為,在產生并分析大量的用戶數據后,我們會“看到所有”的反饋和見解。但是這絕對不是事實,我們每天都會驚訝于看到新的東西,主要關于“用戶所說和他們所做的之間的巨大差別”。

 

目前在預測未來的行為方面是相當糟糕的。我們廣泛研究這種動態的心理學。但是,當我們在調研中發現幾乎對于某功能幾乎一致的支持,但在隨后的原型中卻完全沒有用戶有興趣的時候,這太讓人感到驚訝了。將視覺刺激放在目標市場的前面對于證實結果來說是絕對必要的。

 

真誠的情感表達。

市場趨勢迅速變化,產品團隊緊跟其發展。很少有事情能讓他們放下手中任務而靜觀其變,比如觀看用戶訪談的視頻。有人笑有人哭有人高興有人震驚,用戶研究真的是一個情感的過山車。

 

熱烈激情的驗證

企業經常會問:“我們如何知道我們何時與客戶驗證產品概念?”雖然我們沒有任何硬性規定,但我們半開玩笑的申請“Pokémon GO Benchmark”。我們對數百個手機游戲進行了研究。玩家對開放式問題進行詳細的反饋,話費大量時間與原型進行交流并定期使用新功能。顯然,每個產品不需要成為巨大的成功,但Pokémon GO 項目可以作為一個軼事。

 

關鍵是,即便我們認為用戶的細分很合理,研究結果很少是可預測或明顯的。你根本不能低估通勤的困難和回報。
較短的迭代周期解開更深入的見解。

 

當我們的前期客戶終于在測試版本上快速運行試驗時,很清楚為需要幾個月執行研究的公司提供有意義的客戶洞察很難以捉摸的原因。速度本身是關鍵。

 

但當我們把研究過程加速,一旦驗證產品概念之后客戶就不在滿意。他們有時間和精力來考慮為何原型被認為比早起迭代和替代品更有價值。為了跟上節奏,我們必須簡歷一個廣泛適應的定性工作流程,以便我們可以回到試驗產品的用戶樣本并詢問開放式的問題。這樣便能幫助我們解開更加深刻的見解。

 

我們把深入的洞察定義為對客戶角色的理解,這個角色的價值超越了產品團隊正在開展的單個項目。對于那些專注為同一個市場提供價值的組織的所有成員都是有用的。不僅是理解客戶為何喜歡昂貴的一次性付費和相對便宜的分月訂閱。這是相當有意義的洞察,可以應用于組織中產品矩陣的其他產品,讓快速迭代變成可能。

 

數據意味著一次結束

我們很容易迷失在吵雜中,而不是靠艱苦的工作來發現和提高ROI。快速建立成功的平臺讓我們不得不想產品團隊提供高于”數據驅動“的能力。

 

最初我們假設生成的數據能夠直接轉化為更好的產品決策。在某種程度上,這對組織這個整體來說很重要。但是,當我們真正深入進去時我們就發現”數據驅動“不是產品經理真正想要或實際需求。

 

我們專心傾聽客戶如何把試驗的價值傳遞給其他部門的同事。通常情況下,他們提到試驗如何使他們的團隊圍繞假設而不是意見來運轉。團隊花15分鐘假設接著做試驗,然后花15分鐘來評估解讀試驗結果。而不是浪費兩個小時來進行無用的辯論。有個產品經理討論他如何運用試驗,只是因為數據能幫他給他的主管提供周報中的數據;另一個產品經理卻通過試驗來進行迭代和學習并收獲頗豐。當然,數據對于實現我們目標至關重要,但僅僅是一種手段而不是目的。

 

本文由[email protected]吆喝科技編譯自:https://medium.com/pminsider/after-running-2-000-experiments-for-fortune-500-product-teams-heres-what-we-learned-c4123fb207c8#.6gi1n8h9u

4049 Views
即刻實踐文章理論 A/B測試 灰度發布 產品優化 免費申請
Please wait...

訂閱我們

對于每位訂閱讀者,每兩周,吆喝科技會為您發送4篇精選文章,可能是最新的A/B測試實踐,也會是你所期待的增長干貨。
qq宠物捕鱼大师 三分赛计划公式 体彩排列3排列5开奖中奖号码 河北快3今日开奖号码 河北时时走势图 2019年25期的金牌谜语 七乐彩今晚最准确的人 围棋对战 pk直播记录查询 天津快乐十分官方开彩 58彩票下载二维码