偉大的成功源于堅持不懈的試驗(yàn)，互聯(lián)網(wǎng)產(chǎn)品更是如此。頂級的PM也只能跑得贏一半的A/B測試。

A/B測試，不是高高在上的理論假設(shè)，也不是俗爛的運(yùn)營套路，而是一個中觀的科學(xué)實(shí)踐方式。亞馬遜創(chuàng)始人貝佐斯曾毫不避諱的表示“試驗(yàn)不是策略之一，而是策略本身”，包括 Facebook、Linkedin、Google、Airbnb、Wish、Uber、Netflix 等一系列巨頭從創(chuàng)業(yè)之初到現(xiàn)在，始終沒有改變的 A/B 測試。

經(jīng)過國內(nèi)外一系列第三方A/B測試方案提供方的不懈努力（國外如Optimizely，國內(nèi)如吆喝科技），越來越多的有著強(qiáng)烈互聯(lián)網(wǎng)業(yè)務(wù)增長需求的公司，尤其是中小創(chuàng)業(yè)公司，也開始積極接觸A/B測試，但是大家從網(wǎng)絡(luò)上搜集的只言片語、從一些非專業(yè)人士哪里聽到一些皮毛，并不能真正幫助我們使用A/B測試，甚至還會對A/B測試產(chǎn)生了許多錯誤的認(rèn)知。

我今天從理論到實(shí)踐幫助大家從根本上正確認(rèn)識“ A/B 測試 ”：定義、特性、實(shí)施流程。

A/B測試的定義

分離式組間試驗(yàn)方法?；诮y(tǒng)計學(xué)假設(shè)檢驗(yàn)原理設(shè)計的對照試驗(yàn)，通過對照組和試驗(yàn)組的采樣樣本分析來推斷某個假設(shè)是否對總體樣本成立。在科學(xué)研究領(lǐng)域被用作最高水平的檢驗(yàn)方法，在產(chǎn)業(yè)上被應(yīng)用在醫(yī)療臨床3期，農(nóng)業(yè)試驗(yàn)田，廣告營銷設(shè)計優(yōu)化，互聯(lián)網(wǎng)產(chǎn)品迭代優(yōu)化，互聯(lián)網(wǎng)流量運(yùn)營轉(zhuǎn)化率優(yōu)化，選舉策略優(yōu)化等場景。

廣告之父 David Ogilvy：測試不息，增長不止

A/B測試的三大特性

先驗(yàn)性：?A/B測試結(jié)果屬于預(yù)測型結(jié)論，與“后驗(yàn)”的歸納性結(jié)論差別巨大。后驗(yàn)的方式是先將版本發(fā)布，再通過數(shù)據(jù)驗(yàn)證效果，而A/B 測試用很少的樣本量來推斷新版本在全流量下的效果。

并行性：?A/B測試將兩個或以上的方案同時在線試驗(yàn)，保證每個版本所處環(huán)境的一致性，同時節(jié)省了驗(yàn)證的時間，無需在驗(yàn)證完一個版本之后再測試另一個。

科學(xué)性：?A/B 測試的正確做法是將相似特征的用戶均勻的分配到試驗(yàn)組中，確保每個組別的用戶特征的相似性，從而避免辛普森悖論。

A/B測試試驗(yàn)是產(chǎn)生用戶阻力的地方，也是增長前進(jìn)的核心動力。

轉(zhuǎn)化率優(yōu)化之輪

A/B測試的實(shí)施流程

不同平臺因技術(shù)實(shí)現(xiàn)方式不同而在實(shí)施流程上有所差異，不可能在一篇文章中全部覆蓋，那么我們就以相對成熟完善的AppAdhoc A/B Testing為例展開：

1.試驗(yàn)設(shè)計：

根據(jù)假設(shè)確定試驗(yàn)項(xiàng)目的設(shè)計，包括試驗(yàn)版本和變量，試驗(yàn)觸發(fā)條件，試驗(yàn)針對的用戶受眾，試驗(yàn)流量分配，優(yōu)化指標(biāo)等等。

2.試驗(yàn)配置：

對H5或廣告著陸頁等場景的試驗(yàn)，設(shè)置觸發(fā)條件，比如完全匹配URL或者模糊匹配URL。如果試驗(yàn)是定向針對部分用戶群體的，設(shè)置受眾定向，比如小米Mix2手機(jī)用戶。

3.創(chuàng)建試驗(yàn)版本：

對于UI布局，banner圖片，文案，配色等試驗(yàn)，可以使用可視化編輯器來編輯生成試驗(yàn)版本；對于廣告著陸頁等試驗(yàn)，可以使用多鏈接試驗(yàn)來直接把不同的URL當(dāng)作不同的試驗(yàn)版本來對比；對于新功能灰度發(fā)布，后端算法調(diào)整，結(jié)構(gòu)改版等試驗(yàn)，可以使用編程模式自定義試驗(yàn)變量，請工程師來將變量集成到代碼里。

4.設(shè)定優(yōu)化指標(biāo)：

對于用戶行為類優(yōu)化指標(biāo)，比如按鈕點(diǎn)擊、圖片點(diǎn)擊、URL跳轉(zhuǎn)等，可以使用可視化編輯器來埋點(diǎn)；對于需要代碼計算的指標(biāo)，比如收費(fèi)金額等，可以使用編程模式自定義指標(biāo)，請工程師將指標(biāo)埋點(diǎn)集成到代碼里。

5.QA調(diào)試和上線：

使用內(nèi)部測試機(jī)器來調(diào)試原始版本和試驗(yàn)版本，檢查版本是否符合試驗(yàn)設(shè)計，檢查系統(tǒng)是否能正確收集到調(diào)試數(shù)據(jù)。對于App編程模式試驗(yàn)，通過QA調(diào)試之后，可能需要將新版App代碼上線應(yīng)用商店。

6.流量分配：

一般先給試驗(yàn)分配小流量，比如10%流量，其中5%給原始版本，5%給試驗(yàn)版本。如果沒有bug和數(shù)據(jù)異常，再逐步提高試驗(yàn)流量到20%，50%，100%。注意盡量保證原始版本和試驗(yàn)版本的流量相等。

7.數(shù)據(jù)分析：

實(shí)時檢查試驗(yàn)數(shù)據(jù)，觀察試驗(yàn)版本優(yōu)化指標(biāo)的置信區(qū)間來判斷試驗(yàn)假設(shè)是否正確。

A/B測試，往往會被看做一種黑客增長工具。然而，A/B測試并不是一個僅僅滿足人們短期增長目標(biāo)的興奮劑，而是一個有目標(biāo)、有追求的公司所要堅持的企業(yè)文化和增長文化。

2011年獲得諾貝爾生理學(xué)獎的日本教授山中伸彌，因?qū)崿F(xiàn)了細(xì)胞逆向重編程（能夠讓任何細(xì)胞退回到受精卵階段成為IPS萬能細(xì)胞），在京都大學(xué)召開記者招待會上，他說了這樣一番話：“在此之前，我的實(shí)驗(yàn)屢屢失敗。10次實(shí)驗(yàn)，最多能有1次成功。但是即便如此，我還是會不斷在細(xì)節(jié)上做出調(diào)整，提高精準(zhǔn)度，在進(jìn)行下一次的實(shí)驗(yàn)。在過去的20多年時間里，我一直在持續(xù)不斷做實(shí)驗(yàn)，我終于成功了?！?/p>

這個世界只有兢兢業(yè)業(yè)的創(chuàng)業(yè)人，卻從未有馬馬虎虎的成功者。

相關(guān)閱讀：

《通過A/B測試，如何判斷一個需求可以做？》
《什么是A/B測試算法？其實(shí)都是為了優(yōu)化》

Growth Hacker（增長黑客）：增長黑客是依靠技術(shù)和數(shù)據(jù)來達(dá)成各種營銷目標(biāo)的新型團(tuán)隊(duì)角色。從單線思維者時常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實(shí)現(xiàn)低成本甚至零成本帶來的有效增長…