增長黑客：快節(jié)奏實(shí)驗(yàn)流程｜一丁

增長黑客的其實(shí)暗含了一個(gè)核心假設(shè)，那就是：

尋求試驗(yàn)成功是一個(gè)以量取勝的游戲，開展的試驗(yàn)越多，學(xué)習(xí)到的東西也越多。

快節(jié)奏的試驗(yàn)流程，簡單來說，就是收集洞察，形成實(shí)驗(yàn)想法，排定實(shí)驗(yàn)優(yōu)先級，運(yùn)行實(shí)驗(yàn)，再回到分析階段審視實(shí)驗(yàn)結(jié)果并決定下一步行動(dòng)。

以下對每個(gè)環(huán)節(jié)進(jìn)行拆解：

第一階段，分析洞察

分析洞察主要有以下幾個(gè)來源：

1. 企業(yè)內(nèi)部：目前發(fā)展到什么階段，北極星指標(biāo)是什么，如何達(dá)成目標(biāo)。
2. 用戶：最佳客戶有哪些行為、啟用APP的原因有哪些，有怎樣的核心訴求。
3. 數(shù)據(jù)分析，比如上一次增長實(shí)驗(yàn)的結(jié)果。
4. 競爭對手，別人在做什么，是否值得跟進(jìn)，當(dāng)然了，不要被競爭對手牽著鼻子走，多觀察，但也要有自己的判斷。

第二階段，提出方案

增長負(fù)責(zé)人應(yīng)當(dāng)建立一個(gè)項(xiàng)目管理系統(tǒng)，用于想法的提交和管理以及測試結(jié)果的跟蹤和報(bào)告，同時(shí)這也是企業(yè)知識的儲備庫。

團(tuán)隊(duì)成員提出方案的時(shí)候不應(yīng)該僅僅提出質(zhì)疑，而是應(yīng)該清楚地說明具體的改進(jìn)方案，以及衡量效果的指標(biāo)。

第三階段，排定優(yōu)先級

對收集到的方案進(jìn)行優(yōu)先級排定。方案提交到團(tuán)隊(duì)討論之前，必須要給他打分，打分額能夠幫助團(tuán)隊(duì)在不同的想法之間進(jìn)行比較，以確定什么時(shí)候開展哪一項(xiàng)實(shí)驗(yàn)。

增長黑客介紹了ICE評分體系，impact（影響力），confidence（信心）和ease（簡易性）

1. 影響力：影響力是指某個(gè)想法對于促進(jìn)團(tuán)隊(duì)關(guān)注的指標(biāo)的預(yù)期提升程度。
2. 信心：這個(gè)標(biāo)準(zhǔn)的衡量是想法提出者對于想法產(chǎn)生的預(yù)期影響的信心。
3. 簡易性：簡易性衡量的是進(jìn)行一項(xiàng)實(shí)驗(yàn)所需投入的時(shí)間和精力。

當(dāng)然，分?jǐn)?shù)只能是一種參考，因?yàn)槲覀儗ψ约合敕ǖ念A(yù)期并不總是很準(zhǔn)確。

有時(shí)候，也需要靠直覺，而直覺來自于對業(yè)務(wù)的洞察和長期實(shí)驗(yàn)的結(jié)果。

第四階段，測試

測試過程中重點(diǎn)關(guān)注以下4個(gè)方面

1、投放量

做增長實(shí)驗(yàn)，首先需要確定測試人群的規(guī)模，也就是投放量。

投放量少了，都會擔(dān)心觀測指標(biāo)受偶然因素影響，失去統(tǒng)計(jì)意義；投放量過多，又會擔(dān)心測試風(fēng)險(xiǎn)過大，對業(yè)務(wù)影響過大。

比如，在統(tǒng)計(jì)學(xué)中，有一種兩樣本比例假設(shè)驗(yàn)證，可以計(jì)算最小樣本量，限于篇幅，在此不做展開。

2、投放人群

在AB Test中，投放人群=流量，選擇投放人群有兩種形式：

隨機(jī)：隨機(jī)從大盤中抽樣，如userid單雙尾號抽取、隨機(jī)種子打亂數(shù)據(jù)再抽樣等。

定向：針對特定用戶群體下發(fā)策略，例如結(jié)合用戶標(biāo)簽或自定義規(guī)則篩選用戶。

以上兩種形式均要保證策略AB下兩組用戶相似，比如為了保證隨機(jī)性，有時(shí)候會先做一個(gè)AAtest，確保分組的合理性，才能進(jìn)行ABtest。

3、配置實(shí)驗(yàn)策略

在企業(yè)真實(shí)環(huán)境中，會有很多ABtest實(shí)驗(yàn)，不可能說每個(gè)流量群體在同一時(shí)刻只開展一個(gè)實(shí)驗(yàn)，如果這么做了，就容易發(fā)生流量饑餓，影響實(shí)驗(yàn)的節(jié)奏。

在確定實(shí)驗(yàn)策略之前，先必須判斷實(shí)驗(yàn)之間的關(guān)系。

(1)正交實(shí)驗(yàn)：實(shí)驗(yàn)之間相互不影響，比如實(shí)驗(yàn)一是驗(yàn)證按鈕的顏色，而實(shí)驗(yàn)二是驗(yàn)證廣告的內(nèi)容，由于顏色不會影響廣告算法，所以屬于正交實(shí)驗(yàn)。

(2)互斥實(shí)驗(yàn)：實(shí)驗(yàn)之間相互影響，比如實(shí)驗(yàn)一是驗(yàn)證廣告展示效果，實(shí)驗(yàn)二是驗(yàn)證廣告內(nèi)容，這兩種實(shí)驗(yàn)就是互斥的。

簡單來說，正交實(shí)驗(yàn)可以通過分層的方式，同一組用戶群體同時(shí)進(jìn)行多個(gè)正交實(shí)驗(yàn)，而互斥實(shí)驗(yàn)，則需要通過將流量分出多個(gè)buckets，分配給不同的策略進(jìn)行實(shí)驗(yàn)。

4、評估數(shù)據(jù)結(jié)果

最后要評估數(shù)據(jù)結(jié)果，也就是需要驗(yàn)證對照組和測試組是否具有顯著差異。這就需要用到假設(shè)驗(yàn)證，統(tǒng)計(jì)學(xué)中常見的假設(shè)檢驗(yàn)包括T檢驗(yàn)、Z檢驗(yàn)、F檢驗(yàn)、卡方檢驗(yàn)等。

測試完成后，就是重新回到第一階段，進(jìn)行分析和學(xué)習(xí)。

注意兩個(gè)細(xì)節(jié)

第一， 分析結(jié)果應(yīng)當(dāng)寫進(jìn)實(shí)驗(yàn)總結(jié)中，存在知識庫中，確保相同類型的實(shí)驗(yàn)不會重復(fù)做。

第二， 實(shí)驗(yàn)無論成功或者失敗，都要總結(jié)和回顧，當(dāng)然，實(shí)驗(yàn)成功要會宣傳，為自己爭取資源。

以上是此次分享的關(guān)于快節(jié)奏實(shí)驗(yàn)的全部內(nèi)容，歡迎探討。