被低估的A/B測試

今天聊聊A/B測試，關(guān)于它的淵源、價值與前沿。

A/B測試可以理解為對照試驗，一般針對產(chǎn)品想改進(jìn)的某個功能或策略，提供兩種或多種不同的備選方案，通過測試用戶對不同方案的反饋，尋找最優(yōu)的產(chǎn)品決策。

01  源起

20年前，谷歌進(jìn)行過一次實驗，想了解頁面展示多少條搜索結(jié)果最受讀者喜歡。那次實驗由于搜索結(jié)果加載速度問題沒能成功，但卻有著劃時代意義，它是互聯(lián)網(wǎng)行業(yè)的第一次A/B測試。

在那以后，亞馬遜、谷歌、eBay等一眾先行者將這種方法應(yīng)用在產(chǎn)品迭代、內(nèi)容優(yōu)化、UI調(diào)整、算法檢測等各方面，每年有數(shù)以萬計的實驗開啟。

國內(nèi)對A/B測試的應(yīng)用大概始于10多年前，那時BAT就有支持各自業(yè)務(wù)的規(guī)模性并行A/B測試，但說到把A/B測試根植在基因中的公司，繞不開字節(jié)跳動。

2012年成立之初，當(dāng)還是今日頭條的時候，字節(jié)跳動就在內(nèi)部使用A/B測試，之后這個工具逐漸升級、進(jìn)化，成為大型的測試平臺。

字節(jié)曾對外透露，每次發(fā)布APP，都會起多個名字，放到各大應(yīng)用市場去做A/B測試，“今日頭條”、“抖音”的名字都由此而來。成立9年間，字節(jié)總共開了70多萬次實驗，從增長策略制定，到產(chǎn)品 Feature 迭代，以極高的決策成功率，狂奔到了如今的位置。

2018年字節(jié)的A/B測試開始服務(wù)少數(shù)外部的種子客戶，2020年通過火山引擎正式對外商業(yè)化。

02  價值

對一家企業(yè)而言，擁有A/B測試的能力到底有多重要？

關(guān)于字節(jié)內(nèi)部的A/B測試工具，坊間有著它比 Google Analysics 更好用的評價。外界也有很多聲音，說增長團(tuán)隊和A/B測試工具是字節(jié)的制勝關(guān)鍵。但我更傾向于認(rèn)為，工具本身只是顯性呈現(xiàn)，背后的本質(zhì)是科學(xué)增長的方法論。

A/B測試，可以被應(yīng)用在產(chǎn)品的每一個拉新、轉(zhuǎn)化、激活、留存的微小細(xì)節(jié)，也可以被放置于公司的方案、方向、戰(zhàn)略、決策的重大抉擇。A/B實驗的本質(zhì)，是能以較小的風(fēng)險對決策進(jìn)行評估，并且可以排除其他因素的干擾，尋得定量的結(jié)果。經(jīng)過大量的實驗鋪陳，企業(yè)就能用更小的試錯風(fēng)險，尋得更優(yōu)的決策。

這些年，我見過很多一夜爆紅又一夜死亡的產(chǎn)品，擁有健康增長曲線的公司寥寥無幾。對前者而言，成功或許歸結(jié)于運氣與風(fēng)口，而對后者而言，成功卻是一種必然，是在上萬次的迭代決策中，都選擇了那個“更好一點”的方案的必然。

可以說，企業(yè)的競爭力與實施A/B測試的能力密切相關(guān)。

03 演進(jìn)方向

這幾年，我在持續(xù)關(guān)注著A/B測試的產(chǎn)品演進(jìn)。市面上頂尖的A/B測試產(chǎn)品，提供的是讓業(yè)務(wù)變得精確、簡易、高效的能力。而智能化能力與簡易化能力，是未來產(chǎn)品演進(jìn)的重要方向。

• 智能化方向

在劍橋的 <Trustworthy Online Controlled Experiments> 中，將實驗平臺按成熟度分成了 Crawl, Walk, Run, Fly 四個層次，第四階的 Fly ，指的是AB測試的自動化乃至智能化階段。進(jìn)入這個階段的實驗平臺，能夠低成本和低人力投入地大量并行A/B測試。

目前少數(shù)前沿A/B測試產(chǎn)品具有的動態(tài)流量調(diào)優(yōu)能力，是這個方向較有代表性的特性。該能力可以讓實驗者同時提交多種策略（例如多種推送文案、多個落地頁面樣式），在實驗開啟后，由A/B測試工具智能動態(tài)擴(kuò)量優(yōu)勝版本，無需人工干預(yù)，流量自動向“有可能成為最優(yōu)的策略”傾斜，并根據(jù)實時的指標(biāo)變化，動態(tài)更新流量配置。

• 簡易化方向

在新產(chǎn)品層出不窮的今天，內(nèi)卷競爭彌漫在各行業(yè)賽道，倒逼企業(yè)轉(zhuǎn)型向精細(xì)和高效管理。在精細(xì)操作階段，A/B測試是繞不開的驅(qū)動器。曾經(jīng)需要專業(yè)的產(chǎn)品團(tuán)隊、專業(yè)的數(shù)據(jù)分析團(tuán)隊才能完成的A/B測試，會向人人可用、適配全行業(yè)的方向發(fā)展。

一個比較代表性的產(chǎn)品方向是可視化實驗配置能力。這是一個讓配置A/B實驗趨近零門檻的功能，用戶可通過直接拖拽的方式，改變頁面布局及各種前端元素，以所見即所得的操作，完成實驗對照組和實驗組的配置。沒有產(chǎn)品基礎(chǔ)和數(shù)據(jù)基礎(chǔ)的人同樣可以DIY實驗，不再需要前后端研發(fā)的介入。

另一個我關(guān)注的產(chǎn)品能力，是優(yōu)化的灰度發(fā)布和回滾能力。通常產(chǎn)品在新功能發(fā)布前，會有“灰度發(fā)布 (Feature Flag)”流程，這個流程的目的是采取小流量測試的方式，驗證新功能是否穩(wěn)定。

如果灰度上線后結(jié)果不理想，需要協(xié)同產(chǎn)研將功能回滾，以做進(jìn)一步優(yōu)化。

目前，前沿的A/B測試產(chǎn)品提供了“開關(guān)”形式，可直接管理產(chǎn)品內(nèi)功能的開啟/關(guān)閉，運營可直接操作，還可以針對目標(biāo)人群進(jìn)行定向發(fā)布，進(jìn)行精細(xì)化運營。這個功能可以讓產(chǎn)品 Feature 迭代高效數(shù)倍。

04  結(jié)語

近些年圍繞增長的概念很多，從戰(zhàn)略的第二曲線、品牌的錯位競爭，到產(chǎn)品的三級火箭、渠道的裂變營銷；另一層面，技術(shù)發(fā)展也為增長帶來了可量化依賴的工具，譬如畫像洞察，譬如AB測試。

“增長”已不再是互聯(lián)網(wǎng)專屬的摩登詞語，而成為了各行業(yè)發(fā)展的必修課程。而在憑借經(jīng)驗、才智、理論指引決策之外，數(shù)據(jù)工具的重要性也將到達(dá)前所未有的高度。這個方面，我也會保持時刻的觀察，間歇和大家交流。

—— 如果覺得文章還OK，請轉(zhuǎn)發(fā) ——

特別提示：關(guān)注本專欄，別錯過行業(yè)干貨！

PS：本司承接 小紅書 / 淘寶逛逛 / 抖音 / 百度系 / 知乎 / 微博/大眾點評 等 全網(wǎng)各平臺推廣；

咨詢微信：139 1053 2512 (同電話)

首席增長官CGO薦讀：

• 《首席增長官 – 增長黑客 Growth Hacker》
• 《小紅書 – 增長黑客 Growth Hacker》
• 《用戶增長 – 增長黑客 Growth Hacker》

更多精彩，關(guān)注：增長黑客（GrowthHK.cn）

增長黑客（Growth Hacker）是依靠技術(shù)和數(shù)據(jù)來達(dá)成各種營銷目標(biāo)的新型團(tuán)隊角色。從單線思維者時常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實現(xiàn)低成本甚至零成本帶來的有效增長…