楊三季：優(yōu)秀產(chǎn)品人必懂的增長實(shí)驗(yàn)流程

增長實(shí)驗(yàn)是非常重要的驅(qū)動(dòng)增長的方式。它的作用是驗(yàn)證產(chǎn)品、運(yùn)營動(dòng)作與增長數(shù)據(jù)之間的因果性。當(dāng)提出一個(gè)方案后，可以通過A/B測試的方法來驗(yàn)證這個(gè)方案是否能夠真的驅(qū)動(dòng)產(chǎn)品增長。

一、增長實(shí)驗(yàn)全流程

當(dāng)你想通過增長實(shí)驗(yàn)尋找增長爆發(fā)點(diǎn)時(shí)，往往會(huì)出現(xiàn)以下三種情況：

情況一：團(tuán)隊(duì)缺乏快速實(shí)驗(yàn)、快速迭代的思維。通常做項(xiàng)目時(shí)，決策全憑經(jīng)驗(yàn)及主觀判斷，一旦決策就直接實(shí)施。這會(huì)導(dǎo)致團(tuán)隊(duì)盲目執(zhí)行，很容易出現(xiàn)做項(xiàng)目時(shí)，消耗大量時(shí)間成本，但最終效果沒有達(dá)到預(yù)期，甚至出現(xiàn)業(yè)務(wù)數(shù)據(jù)下滑的情況。

• 解決方案：自己先開始做一些增長方案的A/B測試，取得積極成果后再逐步推廣到團(tuán)隊(duì)，從而逐漸營造公司的增長實(shí)驗(yàn)底蘊(yùn)。當(dāng)公司的實(shí)驗(yàn)文化氛圍和技術(shù)基礎(chǔ)足夠堅(jiān)實(shí)后，公司內(nèi)部可能會(huì)由任何一個(gè)人發(fā)起想法，主導(dǎo)實(shí)驗(yàn)的是產(chǎn)品經(jīng)理。把設(shè)計(jì)具體化，落到實(shí)處。

情況二：團(tuán)隊(duì)有實(shí)驗(yàn)的思維，但是缺少做A/B測試的正確方法。雖然團(tuán)隊(duì)大力推行增長實(shí)驗(yàn)-A/B測試，但很快會(huì)發(fā)現(xiàn)，從0到1推行A/B測試需投入大量人力和時(shí)間成本，還易出錯(cuò)。實(shí)驗(yàn)如何設(shè)計(jì)？如何配置樣本？如何正確看待實(shí)驗(yàn)結(jié)論？如果沒有正確掌握這些方法，就會(huì)發(fā)現(xiàn)自己推行的A/B測試并沒有提升公司的效率，最終演變成了走形式。

• 解決方案：你需要重點(diǎn)修正和優(yōu)化自己的A/B測試方法論、掌握A/B測試在每一步需要解決的關(guān)鍵知識(shí)，并思考如何快速搭建一個(gè)測試環(huán)境。

情況三：已經(jīng)掌握了做A/B測試的正確方法論，但是效率低。很多公司或部門一年做的測試實(shí)驗(yàn)甚至還不到10個(gè)，試錯(cuò)速度太低，就使A/B測試的效果大打折扣。

• 解決方案：你的目標(biāo)應(yīng)該是將實(shí)驗(yàn)數(shù)量提高10倍、20倍等，通過人才培養(yǎng)、采用更好的A/B測試基礎(chǔ)設(shè)施，來鼓勵(lì)高頻高效的實(shí)驗(yàn)，從而真正通過實(shí)驗(yàn)來驅(qū)動(dòng)增長。

1. 增長方法論的核心思維

利用經(jīng)濟(jì)杠桿原理推測和假設(shè)出適合產(chǎn)品增長的爆發(fā)平衡點(diǎn)，通過不斷的實(shí)驗(yàn)驗(yàn)證，得出準(zhǔn)確的爆發(fā)點(diǎn)并加以放大，最終達(dá)到產(chǎn)品增長的效果。本文將著重分享如何通過增長實(shí)驗(yàn)來驗(yàn)證增長假設(shè)。

通過制定北極星指標(biāo)并構(gòu)建增長模型，找到現(xiàn)階段關(guān)于增長的聚集領(lǐng)域，對(duì)這個(gè)聚集領(lǐng)域進(jìn)行中長期（30~120天）的增長驗(yàn)證。找到增長聚焦領(lǐng)域是增長實(shí)驗(yàn)效果最大化的第一步。因?yàn)楫?dāng)你集中火力攻破產(chǎn)品中一個(gè)聚集的切入點(diǎn)時(shí)，會(huì)對(duì)這個(gè)點(diǎn)的洞察進(jìn)一步的剝絲抽繭，無形當(dāng)中會(huì)有更深一層次的認(rèn)知。

2. 增長實(shí)驗(yàn)流程

第一步：產(chǎn)生實(shí)驗(yàn)想法。

從聚集領(lǐng)域出發(fā)，產(chǎn)生高質(zhì)量的實(shí)驗(yàn)想法。通過從數(shù)據(jù)中通過洞察的方式，來幫助提高實(shí)驗(yàn)的成功率。從而形成一個(gè)比較清晰的實(shí)驗(yàn)假設(shè)。以及形成一個(gè)實(shí)驗(yàn)想法庫。

第二步：確定優(yōu)先級(jí)排序。

針對(duì)實(shí)驗(yàn)想法庫中各種想法，通過排序模型進(jìn)行實(shí)驗(yàn)優(yōu)先級(jí)排序。

第三步：設(shè)計(jì)增長實(shí)驗(yàn)。

有了具體進(jìn)行實(shí)驗(yàn)的想法后，進(jìn)行細(xì)化變成一個(gè)可落地的實(shí)驗(yàn)方案（開發(fā)PRD）。這一步主要是講述制定實(shí)驗(yàn)指標(biāo)，確定實(shí)驗(yàn)受眾以及設(shè)計(jì)實(shí)驗(yàn)版本，避免遺漏影響實(shí)驗(yàn)結(jié)果的重要方面。

第四步：實(shí)驗(yàn)開發(fā)上線。

制定數(shù)據(jù)埋點(diǎn)后，開發(fā)實(shí)驗(yàn)并上線后可根據(jù)埋點(diǎn)數(shù)據(jù)清晰衡量實(shí)驗(yàn)結(jié)果。

第五步：分析實(shí)驗(yàn)結(jié)果。

得到結(jié)果后，如何通過系統(tǒng)性方法分析實(shí)驗(yàn)結(jié)果，評(píng)估實(shí)驗(yàn)結(jié)果的可信性并得出可信結(jié)論，并放大該結(jié)論的實(shí)驗(yàn)影響。

二、產(chǎn)生實(shí)驗(yàn)想法：明確實(shí)驗(yàn)?zāi)繕?biāo)

從聚集領(lǐng)域和用戶業(yè)務(wù)問題本身出發(fā)確定實(shí)驗(yàn)?zāi)繕?biāo)，并通過多種數(shù)據(jù)分析方法從數(shù)據(jù)中尋找可以形成合理實(shí)驗(yàn)假設(shè)的依據(jù)。從而產(chǎn)生高質(zhì)量的實(shí)驗(yàn)想法。

第一步：明確實(shí)驗(yàn)?zāi)繕?biāo)

大多數(shù)人可能在增長實(shí)驗(yàn)剛開始時(shí)就找錯(cuò)了出發(fā)點(diǎn)，往往會(huì)以自身想法出發(fā)考慮產(chǎn)品的可能存在的問題，比如某個(gè)頁面設(shè)計(jì)難看、某個(gè)功能，老板說要改等。這類想法過于主觀，以至于整體實(shí)驗(yàn)立于錯(cuò)誤的出發(fā)點(diǎn)，導(dǎo)致了實(shí)驗(yàn)失敗。正確的實(shí)驗(yàn)出發(fā)點(diǎn)，應(yīng)結(jié)合產(chǎn)品現(xiàn)階段的用戶特征和業(yè)務(wù)問題進(jìn)行思考和總結(jié)可能存在的問題。比如用戶下單完成率低，應(yīng)如何解決？用戶反饋這個(gè)業(yè)務(wù)流程過于繁瑣，應(yīng)如何改善等。

第二步：尋找數(shù)據(jù)依據(jù)

從數(shù)據(jù)中尋找假設(shè)依據(jù)，是產(chǎn)生高質(zhì)量的實(shí)驗(yàn)想法的關(guān)鍵。所謂高質(zhì)量的實(shí)驗(yàn)想法，就是經(jīng)過實(shí)驗(yàn)驗(yàn)證后，這個(gè)實(shí)驗(yàn)想法的成功率高，實(shí)驗(yàn)指標(biāo)提升幅度大。通過數(shù)據(jù)尋找洞察形成高質(zhì)量假設(shè)主要可以通過以下步驟來實(shí)現(xiàn)。

步驟一：從三類數(shù)據(jù)中尋找證據(jù)支持假設(shè)

我們通過定量數(shù)據(jù)、定性數(shù)據(jù)、實(shí)踐案例中尋找證據(jù)支持假設(shè)的真實(shí)性。三類數(shù)據(jù)所能提供的證據(jù)類型是不同的，

• 定量數(shù)據(jù)可以定位假設(shè)想法的來源出處。比如：定量數(shù)據(jù)可發(fā)現(xiàn)下單流程中哪一個(gè)節(jié)點(diǎn)的轉(zhuǎn)化率低，導(dǎo)致整個(gè)下單完成率低。
• 定性數(shù)據(jù)可定位假設(shè)的想法的產(chǎn)生原因。比如通過定性數(shù)據(jù)分析下單完成率低的原因。
• 實(shí)踐案例則提供了通過何種方法優(yōu)化假設(shè)想法效果更好。比如其他競品在下單流程中是通過何種方法提高了下單完成率的。

根據(jù)實(shí)驗(yàn)類型，從上述三類數(shù)據(jù)中尋找證據(jù)支持假設(shè)。

定性分析案例：電商有貨APP提升銷售額

• 實(shí)驗(yàn)?zāi)繕?biāo)是提升有貨APP的商品下單漏斗轉(zhuǎn)化率。通過定性分析發(fā)現(xiàn)，多數(shù)用戶都會(huì)擔(dān)心在平臺(tái)買到假貨。因此作出的實(shí)驗(yàn)假設(shè)為：在商品詳情頁首屏加入“平臺(tái)鑒定通過后發(fā)貨”的文案，可以提升下單率和支付轉(zhuǎn)化率，因?yàn)橄擞脩纛檻]。通過增長實(shí)驗(yàn)后，下單率提升了46%，支付轉(zhuǎn)化率提升了70%。

最佳實(shí)踐案例：餓了么下單促銷頁通過LIFT模型提高轉(zhuǎn)化率

• LIFT模型：基于數(shù)據(jù)基礎(chǔ)，在產(chǎn)品信息中探尋問題，設(shè)計(jì)有關(guān)解決這些問題的假設(shè)，通過實(shí)驗(yàn)得出改進(jìn)問題的結(jié)論，進(jìn)而提升轉(zhuǎn)換率。

影響LIFT模型的六個(gè)因素：

1. 價(jià)值主張：是產(chǎn)品轉(zhuǎn)換率的載體，是產(chǎn)品和服務(wù)最重要的屬性，是從客戶的角度來看產(chǎn)品的匹配點(diǎn)和差異點(diǎn)。通過優(yōu)化認(rèn)知、性能、情感、用戶心理價(jià)位四個(gè)方面來降低用戶心理認(rèn)知障礙，提升用戶的行動(dòng)力。
2. 相關(guān)性：為用戶提供符合預(yù)期需求的信息和產(chǎn)品，并且其內(nèi)容與價(jià)值主張最相關(guān)。通過優(yōu)化用戶行為漏斗相關(guān)性、渠道來源相關(guān)性、目標(biāo)受眾相關(guān)性、產(chǎn)品導(dǎo)航相關(guān)性來保持潛在用戶從興趣到使用產(chǎn)品的注意力。
3. 清晰度：通過提高信息層級(jí)、設(shè)計(jì)、文案、用戶召喚行為四個(gè)方面的清晰化，來保障頁面清晰度。高清晰的溝通是可以清楚并快速傳達(dá)你價(jià)值主張和用戶召喚行為，讓用戶通過更低認(rèn)知學(xué)習(xí)成本的使用產(chǎn)品。
4. 緊迫性：緊迫性是和決定周期的長短相關(guān)的，通過優(yōu)化內(nèi)在緊迫性、外在緊迫性，利用害怕失去的感覺，減少用戶決定周期的長度。
5. 焦慮性：通過優(yōu)化隱私焦慮感、可用性焦慮感、完成性焦慮感，將焦慮感來源最小化，把焦慮感轉(zhuǎn)化成優(yōu)勢來刺激用戶行為。
6. 注意力分散：當(dāng)面臨太多選擇的時(shí)候，人們因?yàn)闊o法選擇而放棄。通過聚焦第一印象注意力。把最重要的事件牢牢印在用戶的腦海里。

步驟二：通過數(shù)輪數(shù)據(jù)分析提升假設(shè)質(zhì)量

通過定量數(shù)據(jù)、定性數(shù)據(jù)、實(shí)踐案例中找到多個(gè)初步假設(shè)，此時(shí)我們可以通過多輪的數(shù)據(jù)分析，排除掉不靠譜的假設(shè)，找到新的證據(jù)支持某些更有力的假設(shè)，也可能通過分析找到新的假設(shè)，提升假設(shè)的質(zhì)量。

第三步：形成實(shí)驗(yàn)假設(shè)

先通過一個(gè)案例來分辨一下什么是清晰的實(shí)驗(yàn)假設(shè)。

• 假設(shè)1：發(fā)布公號(hào)文章可以帶來新用戶。
• 假設(shè)2：發(fā)布公號(hào)文章可以帶來100個(gè)新用戶。
• 假設(shè)3：發(fā)布1篇原創(chuàng)公號(hào)文章可以帶來100個(gè)新用戶。
• 假設(shè)4：發(fā)布1篇原創(chuàng)公號(hào)文章2周內(nèi)可以帶來100個(gè)新用戶。
• 假設(shè)5：發(fā)布1篇關(guān)于產(chǎn)品增長的原創(chuàng)公號(hào)文章2周內(nèi)可以帶來100個(gè)新用戶，因?yàn)檫@篇文章會(huì)給大家介紹產(chǎn)品增長的核心模型。

從上述假設(shè)就可以發(fā)現(xiàn)，一個(gè)清晰的假設(shè)是實(shí)驗(yàn)成功的基礎(chǔ)前提。

實(shí)驗(yàn)假設(shè)的輸出標(biāo)準(zhǔn)：

產(chǎn)生實(shí)驗(yàn)想法時(shí)的兩種常見狀況：

可能對(duì)實(shí)驗(yàn)并沒有好的想法，這時(shí)候可以通過團(tuán)隊(duì)的力量來推動(dòng)實(shí)驗(yàn)想法的產(chǎn)出。比如：

• 競品分析：團(tuán)隊(duì)內(nèi)每位成員選擇一到兩個(gè)產(chǎn)品的重要流程進(jìn)行演示，然后進(jìn)行內(nèi)部討論，記錄有參考價(jià)值的案例和想法。
• 頭腦風(fēng)暴：團(tuán)隊(duì)內(nèi)針對(duì)某實(shí)驗(yàn)?zāi)繕?biāo)，進(jìn)行腦暴，產(chǎn)品實(shí)驗(yàn)想法集。
• 問題風(fēng)暴：針對(duì)某一主題，進(jìn)行問題風(fēng)暴。提出并收集問題。歸類問題并優(yōu)化問題，評(píng)選出最重要的問題。通過數(shù)據(jù)分析或?qū)嶒?yàn)尋找問題結(jié)論。

團(tuán)隊(duì)已經(jīng)有很多想法，需要對(duì)這些想法進(jìn)行優(yōu)化?？梢酝ㄟ^實(shí)驗(yàn)想法庫來進(jìn)行管理。

三、優(yōu)先級(jí)排序：ICE模型

1. ICE模型概述

ICE模型通過將大量的實(shí)驗(yàn)想法放在影響范圍（Impact），成功概率（Confidence），實(shí)現(xiàn)程度（Ease）三個(gè)維度下進(jìn)行粗略的評(píng)分，得到增長實(shí)驗(yàn)假設(shè)的優(yōu)先級(jí)進(jìn)行排序。

ICE 各項(xiàng)指標(biāo)的打分依據(jù)：

• 預(yù)期影響（Impact）：實(shí)驗(yàn)?zāi)苡绊懹脩舻母采w度。實(shí)驗(yàn)成功后，指標(biāo)提升幅度。
• 成功概率（Confidence）：數(shù)據(jù)的支持力度
• 實(shí)現(xiàn)難易（Ease）：完成實(shí)驗(yàn)所需成本的消耗程度。

案例：ICE 模型打分表

從上述打分，可以得到「酒店詳情頁加入“全網(wǎng)最低價(jià)”的文案提醒」這個(gè)實(shí)驗(yàn)想法的優(yōu)先級(jí)最高?？梢詢?yōu)先進(jìn)行增長實(shí)驗(yàn)。

2. 擴(kuò)大影響范圍

大多數(shù)實(shí)驗(yàn)都沒有覆蓋足夠的用戶，絕大多數(shù)核心產(chǎn)品團(tuán)隊(duì)只關(guān)注核心用戶。然而

• 核心用戶可能只占活躍用戶比例25%以下。
• 活躍用戶只占所有注冊(cè)用戶比例50%以下。
• 注冊(cè)用戶可能僅占所有登錄過產(chǎn)品但未成為注冊(cè)用戶的訪客的20%以下。
• 而接觸過產(chǎn)品的渠道訪客遠(yuǎn)小于外部渠道所影響的用戶體量（外部渠道過客）。

因此如果僅關(guān)注核心用戶，那么實(shí)驗(yàn)的影響力會(huì)十分局限。所以擴(kuò)大增長實(shí)驗(yàn)的影響力的本質(zhì)就是盡可能的覆蓋更多的用戶。在這里我們可以通過主動(dòng)擴(kuò)大群體覆蓋面，關(guān)注非核心用戶和從流量高的頁面或路徑進(jìn)行多次實(shí)驗(yàn)的方法擴(kuò)大實(shí)驗(yàn)的影響范圍。

3. 提升實(shí)現(xiàn)程度

提升容易程度即降低實(shí)驗(yàn)成本，最好的方式就是通過 MVP的方式以最低成本驗(yàn)證實(shí)驗(yàn)假設(shè)。而設(shè)計(jì)增長實(shí)驗(yàn)MVP時(shí)需要考慮如何投入最小資源，最快證明實(shí)驗(yàn)假設(shè)。實(shí)驗(yàn)是否可以提供可信的有效的結(jié)果，不能因?yàn)檫^度的實(shí)驗(yàn)簡化和成本縮減而影響了實(shí)驗(yàn)的可信有效程度。

案例：通過 MVP 驗(yàn)證實(shí)驗(yàn)假設(shè)：根據(jù)不同的用戶畫像，制定個(gè)性化注冊(cè)流程。更好的滿足用戶需求。

這里要注意的是ICE模型僅僅是一個(gè)優(yōu)先級(jí)排序的參考框架。并不是一門絕對(duì)精確的排序算法。不要消耗太多的時(shí)間成本去追求完美，而要不斷的提高實(shí)驗(yàn)頻率和次數(shù)來確保實(shí)驗(yàn)性價(jià)比。

文源：楊三季

特別提示：關(guān)注本專欄，別錯(cuò)過行業(yè)干貨！

PS：本司承接 小紅書推廣/抖音推廣/百度系推廣/知乎/微博等平臺(tái)推廣：關(guān)鍵詞排名，筆記種草，數(shù)據(jù)優(yōu)化等；

咨詢微信：139 1053 2512 (同電話) 

首席增長官CGO薦讀：

• 《小紅書推廣：筆記排名，KOC種草，達(dá)人筆記，數(shù)據(jù)優(yōu)化》
• 《基于場景運(yùn)營的價(jià)值和核心邏輯｜磊叔的數(shù)據(jù)增長實(shí)驗(yàn)室》
• 《抖音推廣：抖音關(guān)鍵詞排名，抖音種草，抖音數(shù)據(jù)監(jiān)測》

更多精彩，關(guān)注：增長黑客（GrowthHK.cn）

增長黑客（Growth Hacker）是依靠技術(shù)和數(shù)據(jù)來達(dá)成各種營銷目標(biāo)的新型團(tuán)隊(duì)角色。從單線思維者時(shí)常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實(shí)現(xiàn)低成本甚至零成本帶來的有效增長…