3步打造完美A/B實驗版本，讓增長效果翻倍！

你是否有過當(dāng)實驗版本上線后，卻發(fā)現(xiàn)有些實驗細(xì)節(jié)還沒想清楚？怎樣的實驗版本設(shè)計才能避免此類問題呢？本文將為你揭秘那些成功實驗版本背后的3個簡單步驟。

實驗版本設(shè)計要點

在這一部分要回答的問題是實驗所做的改動在哪里？設(shè)計幾個版本，它們之間的區(qū)別是什么？以及這些流量在版本之間是如何分配的。

1.明確實驗改動的位置

設(shè)計實驗版本的第一步，是要明確實驗所做的改動在哪里。這一點比較簡單，例如你的改動可能在APP的主頁、營銷落地頁的按鈕，或者是整個新用戶注冊流程等。明確改動位置后，工程師和設(shè)計師就知道去哪里做開發(fā)和設(shè)計了。

2.確定實驗版本數(shù)量和區(qū)別

第二步是針對改動位置，考慮設(shè)計幾個版本，以及版本之間有什么區(qū)別。這里有幾個要點：

(1) 新版本數(shù)量取決于實驗假設(shè)數(shù)量新版本的數(shù)量其實取決于針對改動點，你有幾個實驗假設(shè)。假設(shè)數(shù)量多，可能就要設(shè)計多個新版本；假設(shè)只有一個，那就只需設(shè)計一個新版本。

(2) 選擇高質(zhì)量實驗假設(shè)，避免隨意改動我們要注意的是，不要隨意想當(dāng)然地改動。所有的實驗假設(shè)和版本設(shè)計，都要選擇那些高質(zhì)量、有依據(jù)的，這樣才能提高實驗成功率，避免浪費開發(fā)設(shè)計資源。

(3) 區(qū)分優(yōu)化實驗和探索實驗

a.優(yōu)化實驗：每個版本只改變單一變量

舉例來說，如果你要優(yōu)化一個落地頁，想看每個元素如何改動效果最好，那你可以試試不同顏色的按鈕、不同文案、不同圖片，每個版本只改變一個變量如顏色、文案或圖片。這樣可以明確判斷每個改動的影響。等確認(rèn)了哪些改動有效，最終版本再把它們合并起來。

b.探索實驗：可同時改變多個變量或設(shè)計全新版本

另一類是探索性實驗，你可以在一個版本中同時改變多個變量，或者設(shè)計一個全新的版本。常見于兩種情況：要么是之前已經(jīng)做了很多局部優(yōu)化實驗，洞察積累多了，想要突破局部最大化的瓶頸；要么是現(xiàn)有版本表現(xiàn)太差，與其慢慢優(yōu)化，不如推倒重來，設(shè)計一個理想版本。此類實驗允許大刀闊斧地改動。

(4) 版本數(shù)量越多，所需總樣本量越大

需要強調(diào)的是，版本數(shù)量越多，實驗所需的總樣本數(shù)就越大。如果你的用戶量不夠大，建議不要設(shè)置太多的版本。

3.若分流不均勻，實驗結(jié)論可信性降低

在明確了幾個實驗版本之后，下一個問題是如何在這些版本之間分配用戶流量。我們還是以一個紅藍(lán)按鈕的例子來說明。假設(shè)在一個實驗中，50%的用戶看到藍(lán)色版本，另外50%看到紅色版本。我們的實驗假設(shè)是，紅色按鈕更醒目，所以點擊率會更高。如果實驗觀測到，紅色版本的點擊率比藍(lán)色高出50%，據(jù)此我們得出結(jié)論：紅色版本比藍(lán)色版本更好。但事實真的如此嗎？舉一個極端例子，如果分到紅色組的用戶全是紅綠色盲，你還能得出這個結(jié)論嗎？顯然不能。

這說明了，AB實驗中的樣本分流是否均勻，會極大影響實驗結(jié)論的可信性。如果樣本分流做得不好，實驗結(jié)果可能根本沒有參考價值。

樣本科學(xué)分流的重要性

1.分流均勻可消除外在因素影響，確保實驗組和對照組的可比性

樣本分流之所以要做到均勻，就是要消除一切外在因素的影響，確保對照組和實驗組之間唯一的區(qū)別就是實驗改動點，其他條件都一致。這樣才能放心地將最終指標(biāo)的差異歸因于實驗改動，而非其他隨機因素。舉個例子，復(fù)聯(lián)中的滅霸要隨機消滅一半人口。這里的”隨機”很關(guān)鍵，如果消滅的方式有選擇性，比如留下的都是實力較弱的超級英雄，那他們最后輸給滅霸，并不能說明這些英雄真的不如滅霸。因為消滅過程不是隨機的，不符合分流均勻的要求。

2.樣本科學(xué)分流需達(dá)到四個標(biāo)準(zhǔn)

• (1) 均勻性分流人群各維度分配比例均勻
• (2) 唯一性同一用戶始終保持在原實驗分組
• (3) 定向性針對特定用戶類型設(shè)定實驗受眾分層分流
• (4) 可重復(fù)性不同實驗之間的分流不沖突

3.科學(xué)分流需從技術(shù)層面保證，以支持AB測試結(jié)果的可信性

(1) 使用第三方AB測試工具可簡化樣本分流過程

第三方AB測試工具可以很方便地完成樣本分流。以吆喝科技產(chǎn)品為例，可以在后臺設(shè)置有多少流量進(jìn)入實驗，如果有多個實驗同時進(jìn)行，還能設(shè)置不同實驗之間的流量分配。然后再進(jìn)一步設(shè)置實驗內(nèi)部的分組，如50%進(jìn)入對照組，50%進(jìn)入實驗組。第三方工具可以保證分流的均勻性和唯一性。

(2) 自建AB測試系統(tǒng)需關(guān)注分流系統(tǒng)的建設(shè)

如果要自建AB測試系統(tǒng)，分流系統(tǒng)是需要重點關(guān)注的。

這里分享一個電商公司自建分流系統(tǒng)的案例，他們大概花了一個月時間搭建了基本的分流架構(gòu)：增長 or 運營團(tuán)隊提交分流需求 → 工程師后端進(jìn)行用戶分流，前端APP和小程序埋點不同實驗版本 → 后端控制前端執(zhí)行相應(yīng)實驗版本，收集數(shù)據(jù) → 分析師手動進(jìn)行統(tǒng)計分析。

綜上所述，明確改動點，創(chuàng)造高質(zhì)量假設(shè)，并科學(xué)分配流量，是設(shè)計實驗版本的根本。

實驗設(shè)計步驟（系列文章小結(jié)）

1.選擇實驗指標(biāo)

選擇指標(biāo)時，除了核心指標(biāo)，還要考慮輔助指標(biāo)和反向指標(biāo)，以全面評估實驗效果。

2.確定實驗受眾

需要考慮：受眾范圍、樣本量和實驗時長評估。

(1) 統(tǒng)計顯著性與所需樣本量的關(guān)系實驗需要的樣本量，與原版本轉(zhuǎn)化率、新版本預(yù)期提升幅度、統(tǒng)計顯著性要求都有關(guān)系。

(2) 樣本量過大時的實驗設(shè)計調(diào)整方法如果評估發(fā)現(xiàn)所需樣本量過大，可以考慮加大改動幅度、減少版本數(shù)量等方式，對實驗設(shè)計進(jìn)行調(diào)整。

3. 設(shè)計實驗版本需明確改動位置、版本數(shù)量和類型。

(1) 實驗假設(shè)數(shù)量決定版本數(shù)量

在設(shè)計實驗版本的時候，要考慮有幾個高質(zhì)量的實驗假設(shè)，那就設(shè)計幾個實驗版本。

(2) 優(yōu)化實驗與探索實驗的版本設(shè)計區(qū)別

同時我們也要考慮我們這個實驗是一個優(yōu)化實驗還是一個探索實驗。優(yōu)化實驗建議去做單變量的測試，而探索實驗可以做一個全新的設(shè)計。

4. 進(jìn)行流量分配

科學(xué)分流是獲得可信實驗結(jié)果的關(guān)鍵。流量分配必須嚴(yán)格執(zhí)行科學(xué)分流，不管是用第三方工具還是自建分流系統(tǒng)，這是獲得可靠實驗數(shù)據(jù)和結(jié)論的基礎(chǔ)。

5. 實驗開發(fā)上線總結(jié)優(yōu)化

最后，在實驗版本開發(fā)上線后，我們就可以收集數(shù)據(jù)，得出實驗結(jié)果，總結(jié)實驗心得，并規(guī)劃后續(xù)優(yōu)化計劃，從而完成一次完整的AB實驗。

最后總結(jié)一下，實驗設(shè)計的藝術(shù)在于精確識別改動點、構(gòu)建可靠實驗假設(shè)、執(zhí)行科學(xué)流量分配。通過本文的學(xué)習(xí)，希望你可以更系統(tǒng)、科學(xué)地進(jìn)行實驗，從而更精準(zhǔn)地優(yōu)化運營策略，提升運營效果。