楊三季：如何復(fù)盤增長策略的落地實(shí)驗(yàn)

當(dāng)我們完成了增長實(shí)驗(yàn)并拿到了實(shí)驗(yàn)結(jié)果時，需要通過評估實(shí)驗(yàn)結(jié)果的可信度和是否達(dá)到預(yù)期來評估增長實(shí)驗(yàn)是否成功以及針對評估結(jié)果是否進(jìn)行下一步的實(shí)驗(yàn)的決策。

一、評估實(shí)驗(yàn)結(jié)果的可信性

評估實(shí)驗(yàn)結(jié)果可信性是分析增長實(shí)驗(yàn)結(jié)果的第一步。它的關(guān)鍵點(diǎn)是實(shí)驗(yàn)結(jié)果是否達(dá)到統(tǒng)計(jì)顯著性要求。

統(tǒng)計(jì)顯著性：實(shí)驗(yàn)指標(biāo)的差別是真實(shí)存在的，而不是隨機(jī)誤差引起的。

如果我們使用第三方A/B測試工具，只需要第三方系統(tǒng)持續(xù)進(jìn)行實(shí)驗(yàn)和收集樣本，結(jié)果會實(shí)時更新，在達(dá)到預(yù)先設(shè)定的統(tǒng)計(jì)顯著性要求時，自動提醒實(shí)現(xiàn)達(dá)到統(tǒng)計(jì)顯著。

如果我們自己手動計(jì)算，則需要按照預(yù)先估計(jì)的實(shí)驗(yàn)時長結(jié)束實(shí)驗(yàn)，手動根據(jù)實(shí)際的樣本數(shù)和轉(zhuǎn)化數(shù)計(jì)算是否達(dá)到統(tǒng)計(jì)顯著。

評估實(shí)驗(yàn)結(jié)果時，常遇見的問題：

問題一：實(shí)驗(yàn)時長太短，導(dǎo)致實(shí)驗(yàn)結(jié)果不可信。

場景1：實(shí)驗(yàn)上線后，就發(fā)現(xiàn)結(jié)果很糟糕或者很好，就草草的將實(shí)驗(yàn)的終止了。實(shí)驗(yàn)沒有達(dá)到統(tǒng)計(jì)顯著。

• 對應(yīng)方法：這種情況可以通過統(tǒng)計(jì)學(xué)中的新奇效應(yīng)來解釋：在增長實(shí)驗(yàn)的早期，用戶因?yàn)樾缕鏁P(guān)注新改動，但往往顯著的早期提升在之后的幾天或幾周的測試中會逐漸消失。因此我們要預(yù)先設(shè)定實(shí)驗(yàn)時長，給實(shí)驗(yàn)足夠的測試時間，達(dá)到了統(tǒng)計(jì)顯著后再評估實(shí)驗(yàn)結(jié)果。

場景2：實(shí)驗(yàn)雖然達(dá)到了統(tǒng)計(jì)顯著，但結(jié)束過早，僅有產(chǎn)品的高頻用戶被包含在該實(shí)驗(yàn)內(nèi)。

• 對應(yīng)方法：在設(shè)定實(shí)驗(yàn)時長時，要充分分析用戶的天然登錄頻率情況，保證不同登錄頻率的用戶都可以被均勻的分配到實(shí)驗(yàn)中。

問題二：實(shí)驗(yàn)預(yù)設(shè)不準(zhǔn)確，導(dǎo)致實(shí)驗(yàn)結(jié)果不可信。

場景1：實(shí)驗(yàn)工具和測試環(huán)境存在問題，導(dǎo)致流量分配不均勻。

• 對應(yīng)方法：在A/B測試前，進(jìn)行至少一次測試，保證實(shí)驗(yàn)組和對照組的流量均勻且隨機(jī)分布。

場景2：同時進(jìn)行多個增長實(shí)驗(yàn)，實(shí)驗(yàn)之間互相產(chǎn)生干擾。

• 對應(yīng)方法：盡量避免針對同一用戶群體，在相近的路徑或者頁面中，同時進(jìn)行兩個及兩個以上的增長實(shí)驗(yàn)，以確保實(shí)驗(yàn)版本符合預(yù)期。

場景3：在實(shí)驗(yàn)開始后，修改實(shí)驗(yàn)設(shè)置。導(dǎo)致流量分配不均勻。

• 對應(yīng)方法：在實(shí)驗(yàn)進(jìn)行時，不要更改實(shí)驗(yàn)設(shè)置。

問題三：無法合理分析實(shí)驗(yàn)結(jié)果。

場景1：實(shí)驗(yàn)時，僅關(guān)注一個指標(biāo)，忽略了實(shí)驗(yàn)對其他指標(biāo)的可能存在的影響。

• 對應(yīng)方法：設(shè)置三類指標(biāo)，全面監(jiān)測實(shí)驗(yàn)的好壞影響。

場景2：對于某個實(shí)驗(yàn)版本有嚴(yán)重傾向性，僅看好的數(shù)據(jù)反饋，忽略壞的數(shù)據(jù)反饋。

• 對應(yīng)方法：通過數(shù)據(jù)分析，對所以版本保持嚴(yán)謹(jǐn)一致的態(tài)度。

場景3：各種特殊性，人為事件的干擾，如購物節(jié)，服務(wù)器崩潰等。

• 對應(yīng)方法：實(shí)驗(yàn)進(jìn)行中，盡量避免已知的可能干擾實(shí)驗(yàn)結(jié)果的外部因素。

二、分析實(shí)驗(yàn)結(jié)果的成功性

2.1.通過實(shí)驗(yàn)指標(biāo)判定成功率?? ? ? ?

增長實(shí)驗(yàn)的結(jié)果成功概率主要是通過三類實(shí)驗(yàn)指標(biāo)進(jìn)行評估的。即：

• 核心指標(biāo)：實(shí)驗(yàn)組是否比對照組有所提升。
• 輔助指標(biāo)：變化是否符合預(yù)期，是否和核心指標(biāo)的趨勢一致？
• 反向指標(biāo)：是否沒有明細(xì)的負(fù)面影響，或者有負(fù)面影響，但可以接受。

除了通過實(shí)驗(yàn)指標(biāo)評估實(shí)驗(yàn)的成功與否，還可以通過實(shí)驗(yàn)的觀察周期來評估實(shí)驗(yàn)是否成功。

• 短期觀察：實(shí)驗(yàn)結(jié)果達(dá)到統(tǒng)計(jì)顯著后，即可停止實(shí)驗(yàn)，分析實(shí)驗(yàn)指標(biāo)，得出結(jié)論。
• 長期觀察：如果實(shí)驗(yàn)針對的是長期指標(biāo)，實(shí)驗(yàn)停止后，需要長期監(jiān)測對核心指標(biāo)的影響，以確認(rèn)最終結(jié)果。

通過以上四種情況，我們也可以總結(jié)出：

• 如果實(shí)驗(yàn)組勝利，即統(tǒng)計(jì)顯著有提升。那么說明增長實(shí)驗(yàn)所改進(jìn)的元素和方向都是正確的。我們可以繼續(xù)優(yōu)化。
• 如果統(tǒng)計(jì)顯著有所下降，那么可能說明增長實(shí)驗(yàn)所改進(jìn)的元素是正確的，但是改進(jìn)的方向并不正確。需要修正改進(jìn)的方向。
• 如果統(tǒng)計(jì)顯著沒有明顯的變化，那么說明增長實(shí)驗(yàn)所改進(jìn)的元素和方向都不是影響用戶的關(guān)鍵的位置，需要我們重新對產(chǎn)品數(shù)據(jù)進(jìn)行分析。

2.2.分析實(shí)驗(yàn)結(jié)果的產(chǎn)生原因：

如果我們預(yù)期改動可以提升某個指標(biāo)，但指標(biāo)不升反降?？梢酝ㄟ^以下這幾個方式進(jìn)行分析和測試：

• 漏斗分析：通過分析確定漏斗轉(zhuǎn)化路徑中與預(yù)期假設(shè)不符的環(huán)節(jié)有哪些。
• 結(jié)果分群：對實(shí)驗(yàn)結(jié)果進(jìn)行分群，對比總體實(shí)驗(yàn)結(jié)果與分群后的結(jié)果是否一致。
• 用戶調(diào)研：將實(shí)驗(yàn)不同版本呈現(xiàn)在用戶面前，觀察用戶對各個版本的反饋。
• 反復(fù)實(shí)驗(yàn)：針對結(jié)果形成的新假設(shè)，進(jìn)行反復(fù)實(shí)驗(yàn)，從而對新假設(shè)進(jìn)行驗(yàn)證。

案例：某電商平臺通過結(jié)果分群和用戶調(diào)研，分析實(shí)驗(yàn)失敗原因。

1. 實(shí)驗(yàn)?zāi)康模耗畴娚唐脚_希望提高某品類頻道的營收，
2. 實(shí)驗(yàn)方案：將該品類入口從網(wǎng)站的右上角移到網(wǎng)站的左上角。原因感覺更加醒目。
3. 實(shí)驗(yàn)結(jié)果：該品類頻道點(diǎn)擊率下降70%。
4. 結(jié)果分析：按新老用戶分解，發(fā)現(xiàn)新用戶點(diǎn)擊率上升，老用戶點(diǎn)擊率下降明顯。
5. 結(jié)果假設(shè)：可能老用戶已經(jīng)習(xí)慣了原有的位置。通過用戶可用性調(diào)研，發(fā)現(xiàn)老用戶行為確實(shí)如此。
6. 實(shí)驗(yàn)方案：提前向老用戶發(fā)通知，告訴老用戶該品類頻道入口即將移動位置，并將用戶引導(dǎo)到新的位置。
7. 最終結(jié)果：新版本上線一段時間后，老用戶在該品類頻道的點(diǎn)擊率回升到原有水平。

2.3.實(shí)驗(yàn)后續(xù)迭代方向的判斷：

在這一步中，我們基于實(shí)驗(yàn)的結(jié)果進(jìn)行更進(jìn)一步的分析，判斷是否將實(shí)驗(yàn)結(jié)果進(jìn)行產(chǎn)品化還是放棄實(shí)驗(yàn)結(jié)果。亦或是對結(jié)果不滿意，繼續(xù)迭代。

針對某一個點(diǎn)的實(shí)驗(yàn)結(jié)果取得成功后，我們?nèi)绾畏糯髮?shí)驗(yàn)結(jié)果的影響呢？我們可以觀察是否可針對這個實(shí)驗(yàn)點(diǎn)，進(jìn)行更多的其他實(shí)驗(yàn)。因?yàn)槿绻@個實(shí)驗(yàn)點(diǎn)取得了成功。說明這個實(shí)驗(yàn)點(diǎn)可以影響用戶在產(chǎn)品中的行為。那么最初的實(shí)驗(yàn)版本不一定就是最理想的實(shí)驗(yàn)版本。我們進(jìn)行不斷的優(yōu)化來進(jìn)一步提升實(shí)驗(yàn)結(jié)果。我們還可以觀察是否可以將這一次的取得成功的實(shí)驗(yàn)思路和分析角度用于產(chǎn)品渠道等其他方向。我也可以根據(jù)這次實(shí)驗(yàn)結(jié)果，去協(xié)助我們重新審視其他實(shí)驗(yàn)想法的準(zhǔn)確性和優(yōu)先級。

三、實(shí)操案例說明

小編通過一個增長實(shí)驗(yàn)案例來實(shí)操一下：如何對實(shí)驗(yàn)結(jié)果進(jìn)行分析。

假設(shè)你現(xiàn)在設(shè)計(jì)了一個關(guān)于提高keep的用戶的關(guān)注轉(zhuǎn)化率的增長策略方案。目前我們可以獲得的信息是：

• 實(shí)驗(yàn)版本數(shù)：實(shí)驗(yàn)組一個，對照組一個。
• 點(diǎn)擊文章或動態(tài)頁關(guān)注按鈕的原本關(guān)注率是5%
• 目標(biāo)定位點(diǎn)擊文章或動態(tài)關(guān)注頁按鈕的關(guān)注率達(dá)到6%

實(shí)驗(yàn)一：實(shí)驗(yàn)周期為3個自然日

1、實(shí)驗(yàn)周期較短。根據(jù)健身類用戶產(chǎn)品使用習(xí)慣分類：

• 高頻類用戶每天登錄一次
• 中頻類用戶每周至少登錄三次
• 低頻類用戶每周至少登錄一次。

實(shí)驗(yàn)周期僅為三天，對中低頻用戶群體的觸達(dá)概率較低，無法有效達(dá)到實(shí)驗(yàn)受眾的設(shè)置要求的用戶覆蓋范圍。

2、核心指標(biāo)：關(guān)注按鈕轉(zhuǎn)化率達(dá)到要求統(tǒng)計(jì)顯著。

3、輔助指標(biāo)：

• 每次訪問平均時長：正向增長17.24%，增長異常。通過定性分析發(fā)現(xiàn)平均閱讀時長作為內(nèi)容閱讀類功能的北極星指標(biāo)與關(guān)注轉(zhuǎn)化率無明顯的正相關(guān)性。而實(shí)驗(yàn)優(yōu)化方案則是通過降低用戶閱讀內(nèi)容的聚集度從而提高關(guān)注按鈕的聚集度。因而每次訪問平均時長大幅度正向增長具有偶然性。間接證明該實(shí)驗(yàn)的不可信。
• 內(nèi)容點(diǎn)贊數(shù)：正向增長7.81%，與核心指標(biāo)增長趨勢相同，增長范圍合理。

實(shí)驗(yàn)結(jié)果的可信性評估結(jié)論：該實(shí)驗(yàn)結(jié)果不可信。

優(yōu)化方案：將實(shí)驗(yàn)周期調(diào)整為14天。

實(shí)驗(yàn)二：實(shí)驗(yàn)周期為14個自然日

• 實(shí)驗(yàn)周期已滿足預(yù)期需求，分析理由見實(shí)驗(yàn)一。
• 實(shí)驗(yàn)組達(dá)到預(yù)期實(shí)驗(yàn)?zāi)繕?biāo)6%關(guān)注轉(zhuǎn)化率。

實(shí)驗(yàn)結(jié)果的可信性評估結(jié)論：該實(shí)驗(yàn)結(jié)果可信度較高。

數(shù)據(jù)指標(biāo)分析：

• 核心指標(biāo)：
  • 關(guān)注按鈕轉(zhuǎn)化率：實(shí)驗(yàn)組（6%）較對照組（4.9%）有顯著提升（22.43%）。達(dá)到實(shí)驗(yàn)預(yù)期目標(biāo)。
• 輔助指標(biāo)：
  • 每次訪問平均時長：實(shí)驗(yàn)組（15.8min）較對照組（15.9min）有略微下降（0.63%）。符合實(shí)驗(yàn)預(yù)期，屬于可接受范圍內(nèi)。
  • 內(nèi)容點(diǎn)贊數(shù)：實(shí)驗(yàn)組較對照組有略微提升（3.79%）。符合實(shí)驗(yàn)預(yù)期，與核心指標(biāo)趨勢一致。
• 反向指標(biāo)：
  • 取關(guān)轉(zhuǎn)化率：雖實(shí)驗(yàn)組較對照組有上升較大（23.49%）。但由于取關(guān)數(shù)量較小，占比較小不足1%。屬于可接受范圍內(nèi)。

實(shí)驗(yàn)結(jié)果的評估結(jié)論：該實(shí)驗(yàn)結(jié)果較為成功。

文：楊三季

特別提示：關(guān)注本專欄，別錯過行業(yè)干貨！

PS：本司承接 小紅書推廣/抖音推廣/百度系推廣/知乎/微博等平臺推廣：關(guān)鍵詞排名，筆記種草，數(shù)據(jù)優(yōu)化等；

咨詢微信：139 1053 2512 (同電話) 

首席增長官CGO薦讀：

• 《小紅書推廣：筆記排名，KOC種草，達(dá)人筆記，數(shù)據(jù)優(yōu)化》
• 《搜索引擎推廣：百度/360/搜狗關(guān)鍵詞快速排名，網(wǎng)站SEO優(yōu)化》
• 《抖音推廣：抖音關(guān)鍵詞排名，抖音種草，抖音數(shù)據(jù)監(jiān)測》

更多精彩，關(guān)注：增長黑客（GrowthHK.cn）

增長黑客（Growth Hacker）是依靠技術(shù)和數(shù)據(jù)來達(dá)成各種營銷目標(biāo)的新型團(tuán)隊(duì)角色。從單線思維者時常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實(shí)現(xiàn)低成本甚至零成本帶來的有效增長…