平安夜話增長：1000個(gè)熱點(diǎn)也比不上 A/B測試的萬字優(yōu)化秘籍

圣誕熱點(diǎn)，怎么蹭？

無論是運(yùn)營、技術(shù)還是產(chǎn)品、設(shè)計(jì)，每當(dāng)熱點(diǎn)日期臨近內(nèi)心都會(huì)慌得一圈：這熱點(diǎn)你若蹭好便是晴天，若蹭不好，大抵是防不住一句話：是不是你的方案有問題？

原本以為這只是國內(nèi)高度競爭的市場環(huán)境下的特殊情況，最近吆喝君回顧了我國臺(tái)灣地區(qū)的A/B 測試實(shí)踐后發(fā)現(xiàn)，有一些共性的問題值得一起探討。

在我國臺(tái)灣地區(qū)，電商或是線上服務(wù)，數(shù)字廣告的轉(zhuǎn)化率越來越糟。大家都在尋找新的方法，希望可以讓潛在的用戶了解自家產(chǎn)品的好處，而不是片面的撒大把銀子打廣告。

A/B Testing，除了單純改改網(wǎng)站的按鈕顏色，或是文案及照片，更重要的是在試驗(yàn)開始前，先了解自身公司的價(jià)值主張。這…聽起來距離公司行銷面有點(diǎn)遙遠(yuǎn)？沒關(guān)系，這篇文章分享近期我收集到的課程及案例，把這些課程內(nèi)容與自身的經(jīng)驗(yàn)做結(jié)合，分享給大家為什么要進(jìn)行A/B Testing？以及要怎么做A/B Testing？

數(shù)字廣告轉(zhuǎn)化現(xiàn)狀

開始介紹A/B Testing之前，我們先來看看數(shù)字營銷導(dǎo)流的問題在哪裡？參考互聯(lián)網(wǎng)女王2018的趨勢報(bào)告，裡面提及，過去幾年廠商可以盡情地投放廣告，而不需要思考太多其他策略面的方法，原因是過去幾年的流量紅利包括了智能手機(jī)出貨量的增長，以及全球上網(wǎng)人數(shù)的普及。但是，如下圖所示，智能手機(jī)在2016~2017年的增長幾乎趨近于0%。代表會(huì)買智能手機(jī)的人都已經(jīng)買了。比較明顯的例子，是在臺(tái)北搭捷運(yùn)的時(shí)候，每個(gè)人手上都已經(jīng)有一部智能手機(jī)(除非你想要一邊追劇，一邊打手游，這樣可能需要部）。

在下面這張全球互聯(lián)網(wǎng)用戶的圖表下，我們也可以看到用戶增長的比率也是漸漸下降，這代表什么？代表會(huì)上網(wǎng)的人也大部分都在線上了。

會(huì)買智能手機(jī)的人都買了，會(huì)上網(wǎng)的人也都在線上了，那這跟數(shù)字廣告導(dǎo)流轉(zhuǎn)化的關(guān)系是什么？

想一下，每個(gè)人每天手機(jī)上網(wǎng)時(shí)間的情境：可能是通勤，或是下班后無聊的時(shí)間。但每個(gè)人一天擁有的時(shí)間是固定的，不會(huì)因?yàn)槎噘I一支手機(jī)就增加了時(shí)間，也就是說數(shù)字廣告的業(yè)主其實(shí)是在競價(jià)每個(gè)人的「時(shí)間」。

就我自己的觀察，在每個(gè)行業(yè)，新創(chuàng)小公司因?yàn)橘Y金的關(guān)系，一開始不太有機(jī)會(huì)砸錢在電視廣告。原因是電視廣告的費(fèi)用至少都是10萬起跳，還不一定保證效果！另一方面，數(shù)字廣告?—?像Facebook或是Google Adwords，皆能直接安插追蹤碼在每一個(gè)消費(fèi)者行為的路徑，可以很明確地知道，到底是哪一篇文章或是哪一則廣告帶來了收益，這也造就了一波新型態(tài)電商掘起的優(yōu)勢。

只是現(xiàn)在，連傳統(tǒng)的大公司也開始知道數(shù)字廣告的好處，當(dāng)他們也一起跳進(jìn)來搶食上網(wǎng)使用者注意力的時(shí)候，數(shù)字廣告的價(jià)格理所當(dāng)然地就開始上揚(yáng)。最明顯的例子就是今年跟幾位在電商工作的朋友說到，每次投放的CPC或是CPA價(jià)格是去年的翻倍，可是觸及率或是轉(zhuǎn)化率卻遠(yuǎn)遠(yuǎn)沒有以前的好。

從下圖，我們可以發(fā)現(xiàn)，過去幾年臺(tái)灣的數(shù)字廣告量幾乎都有20%的成長，這也印證了有越來越多的廠商跳進(jìn)數(shù)字廣告的趨勢。為何要進(jìn)行A/B Testing？

當(dāng)公司規(guī)模小的時(shí)候，產(chǎn)品的走向要往哪個(gè)方向走，其實(shí)很容易，「老板說了算」(Hippo，Highest paid person’s opinion)，主要就是老板用他先前的經(jīng)驗(yàn)，讓目前的商業(yè)模式可以有正向的營業(yè)收入。

開始有了團(tuán)隊(duì)之后，會(huì)有產(chǎn)品經(jīng)理、設(shè)計(jì)師、工程師以及部門主管。另外，專案數(shù)量變多了，老板不一定可以每件事情都顧到，此時(shí)每個(gè)人都有意見，聽起來又都很有道理，那該怎么做決定？

為什么要做 A/B 測試？

A/B Testing，其實(shí)是一個(gè)幫助大家做決定的方法。先從一個(gè)比較巨觀的情境開始，幫助大家了解A/B Testing。在Forbes這篇文章中，舉了一個(gè)花店的例子。影響使用者購買產(chǎn)品意愿的可能，包括：

• 產(chǎn)品的品質(zhì)(Quality of the product)
• 產(chǎn)品能否準(zhǔn)時(shí)送達(dá)(Reliability and timeliness of delivery)
• 運(yùn)費(fèi)(Shipping costs)
• 「花束」本身的價(jià)錢(Bouquet pricing)

想像一下，你是這間花店的老板，想要進(jìn)行線上買賣，透過網(wǎng)頁讓你的消費(fèi)者可以進(jìn)行購買，你會(huì)怎么進(jìn)行假設(shè)？你會(huì)怎樣呈現(xiàn)你的網(wǎng)頁，直到你可以達(dá)到上面4個(gè)項(xiàng)目的為止？

農(nóng)場直送鮮花，品質(zhì)看得見?—?“Beautifulbouquets fresh from the farm”。很直覺地聯(lián)想到，你可以安排農(nóng)場採收的畫面，或是送貨的畫面，盡量把「直送」這個(gè)觀念傳達(dá)給使用者。

保證在情人節(jié)當(dāng)天可以送達(dá)?—?“GuaranteedValentine’s Day delivery”。為了確保情人節(jié)當(dāng)天可以送達(dá)，一種測試的方法，是一位女生在公司上班的時(shí)候，有一束花放在辦公桌旁邊，又或是單純以月曆和時(shí)鐘，呈現(xiàn)時(shí)間的感受。

非常低的運(yùn)費(fèi)?—?“Low, flat-fee shipping rates”?？梢灾苯訕?biāo)示出運(yùn)費(fèi)的價(jià)格、又或是比較眾多貨運(yùn)公司的運(yùn)費(fèi)。

價(jià)格合理?—?“Flower arrangements starting from $35”。比較與一般市面上花店的價(jià)格，可以用表格，或是直接秀出價(jià)格。

假設(shè)上面是一個(gè)Landing page，在開始建造網(wǎng)頁之前，花店的老板已經(jīng)有4個(gè)價(jià)值主張(value proposition)。實(shí)際上，要完成這些價(jià)值主張，有很多種不同的方法，我們不太可能一次就把4種不同的價(jià)值主張完全驗(yàn)證完。比較可行的方法，就是先做出第一個(gè)版本，先確認(rèn)好線上送花的這個(gè)行業(yè)是可行的。在這個(gè)先決條件成立的前提之下，我們就可以開始進(jìn)一步，針對(duì)每個(gè)不同的價(jià)值主張進(jìn)行A/B Testing。

在進(jìn)行A/B Testing時(shí)，還要先有一個(gè)心理建設(shè)，這些試驗(yàn)及改變，除了能讓你在短時(shí)間看到某個(gè)按鈕好像改變后得到的成效之外，它也可以為你下一個(gè)檔期，需要曝光的行銷案，提供更明確的執(zhí)行方向。

舉個(gè)例子來說：在上面第二個(gè)價(jià)值主張，是保證可以在情人節(jié)的時(shí)候把你的花送到對(duì)方手中。假設(shè)這個(gè)是使用者在乎的痛點(diǎn)，那么「準(zhǔn)時(shí)送達(dá)率」就會(huì)變成一個(gè)非常重要的KPI(Key Performance Indicator)?？梢杂^察在一次的節(jié)日試驗(yàn)中，收到多少通抱怨的客服電話，又或是當(dāng)有人使用這個(gè)服務(wù)后，下次在節(jié)日的時(shí)候，再次使用這個(gè)服務(wù)的回購率是多少？上述兩點(diǎn)，都比單純在一次的A/B Testing得到較好的結(jié)果，對(duì)公司來得更具建設(shè)性。

A/B Testing 的整體流程思考

漏斗分析，是對(duì)產(chǎn)品初步的了解，這個(gè)部分可以從安裝追蹤碼開始。當(dāng)然放置追蹤碼之前，你也許可以假裝自己是一個(gè)第一次接觸到自家品牌產(chǎn)品的使用者。如下圖所示，有可能你的臉書被廣告打到，或是你因?yàn)槟撤N需求查詢而來的關(guān)鍵字，或是不小心在看一些部落客的分享文中。

接著，你有可能會(huì)去點(diǎn)擊首頁的說明，或是CTA(Call To Action)按鈕。當(dāng)開始對(duì)某項(xiàng)服務(wù)感到興趣的時(shí)候，你可能會(huì)想要多了解一下產(chǎn)品的全貌。如果該服務(wù)有Blog的話，可能會(huì)去點(diǎn)擊，看看有沒有其他人使用這個(gè)產(chǎn)品的回饋，又或是如果有FB機(jī)器人的服務(wù)，點(diǎn)擊之后，與機(jī)器人互動(dòng)看看，看能否找到自己需要的答案。

有些潛在客戶，可能做了以上的動(dòng)作之后，都還是沒有購買。他可能會(huì)先注冊試用免費(fèi)版的服務(wù)。過了一陣子，收到了公司發(fā)給他的優(yōu)惠訊息，最后才變成客戶。這個(gè)過程短則1~2天，長則好幾個(gè)月。如何追蹤到這感興趣的潛在客群？A/B Testing就適合在這個(gè)時(shí)候使用。

漏斗分析，可以把它當(dāng)做一個(gè)俯瞰的角度，了解潛在客戶從哪裡來？會(huì)前往哪些途徑？但如果單純只知道潛在客戶會(huì)往哪裡走，是無法和商業(yè)價(jià)值有所連結(jié)，所以要進(jìn)一步做漏斗分析。所謂漏斗分析就如下圖所示：

在下面這個(gè)例子之中，是一個(gè)電商平臺(tái)的例子，從圖中可以看到放入購物車的潛在客戶只有46%的人有前進(jìn)到下一步驟，另外54%的人都離開了。開始填寫資料欄位之后，又有44％的人會(huì)離開，所以到最后購買成功，只剩下全部的26.26%。上面舉這個(gè)例子，可能就只是在你商城中其中一個(gè)漏斗，接下來要做的，就是針對(duì)每一個(gè)流失率高的漏斗，開始進(jìn)行A/B Testing的優(yōu)化。

A/B Testing Crash Course for Product Managers這門課中，建議我們先做用戶的分群，并且舉了Udemy想要關(guān)注的族群，包括：第一次進(jìn)到Udemy的用戶與回頭客的比較，使用桌機(jī)進(jìn)到網(wǎng)站者與手機(jī)版的用戶比較…將上面這些問題與A/B Testing可以進(jìn)行測試的項(xiàng)目做結(jié)合，展開不同的試驗(yàn)可能。最后他們把重心放在，第一次進(jìn)到Udemy網(wǎng)站的潛在客戶卻沒有注冊成為會(huì)員的這群人身上。

建立呼應(yīng)問題的假設(shè)

既然已經(jīng)決定想要測試的對(duì)象了，接下來我們就要開始學(xué)著問問題?！附⒓僭O(shè)」其實(shí)就是一種問問題的方式。什么是假設(shè)？簡單來說，假設(shè)是對(duì)于一個(gè)現(xiàn)象的出現(xiàn)有一個(gè)合理的解釋，但不知是否真的能完整去解釋這個(gè)現(xiàn)象。

比如說：牛頓被一個(gè)蘋果從蘋果樹上掉下來砸到，所以他假設(shè)有一股力量，可以將蘋果從樹上拉下來，接著他去做了很多試驗(yàn)，發(fā)現(xiàn)不只是蘋果，其他的東西也都會(huì)掉下來，觀察了這些現(xiàn)象之后，他嘗試用數(shù)學(xué)的方式，建立一個(gè)模型，這也就是后來「萬有引力」的由來。

再舉一個(gè)例子，最近我在找日本東京旅游的資訊，找了Airbnb的東京住宿地點(diǎn)后，再去開instagram，馬上就有Airbnb的廣告等著我?？墒钱?dāng)我已經(jīng)用booking.com訂好飯店之后，我的FB上還是有Airbnb的廣告對(duì)我投放。原因就是廣告商抓到我想要去東京旅游的意圖(在Airbnb網(wǎng)站上搜尋東京住宿地)，所以它們假設(shè)我想要在Airbnb上訂房，但實(shí)際上我已經(jīng)完成我在東京住宿的預(yù)訂。

廣告商假設(shè)，「你最近常在看東京旅游的資訊，你會(huì)對(duì)Airbnb的廣告保持興趣」，但實(shí)際上我已經(jīng)完成訂房了，像這樣的假設(shè)對(duì)我來說就是錯(cuò)誤的，Airbnb的廣告費(fèi)用對(duì)我沒達(dá)到功效。

這邊提供一個(gè)假設(shè)的范例給大家參考：

我相信_(tái)________可以得到________的業(yè)績改善，因?yàn)檫@個(gè)方法_______

我相信「將使用者顧客的logo移到比較接近帳單的部分」可以「增加5%」的業(yè)績改善，因?yàn)檫@個(gè)方法「可以增加使用者在消費(fèi)的信心」。

當(dāng)然，想要增加到達(dá)頁面的轉(zhuǎn)化率，可能不只有一個(gè)假設(shè)。很多其他的假設(shè)都可能讓頁面的轉(zhuǎn)化率提昇。下一步，我們需要來排序，到底哪一個(gè)假設(shè)，比較值得進(jìn)行實(shí)作驗(yàn)證。至于排序的方式，可以參考下圖，針對(duì)每一個(gè)假設(shè)，給其特定分?jǐn)?shù)，分別以「商業(yè)影響程度」，及「技術(shù)執(zhí)行面執(zhí)行容易」的程度思考執(zhí)行面的難易度。排序完成之后，落在圖中右上角的項(xiàng)目將會(huì)是最需要排進(jìn)試驗(yàn)時(shí)程的項(xiàng)目。

首先，根據(jù)先前假設(shè)，設(shè)計(jì)試驗(yàn)：

開始試驗(yàn)之前，我們需要先知道幾個(gè)不同的試驗(yàn)參數(shù)，分別是

• 基準(zhǔn)轉(zhuǎn)化率(Baseline conversion rate)
• 這是原本試驗(yàn)前，目前網(wǎng)站的轉(zhuǎn)化率。
• 最小可辨識(shí)效果(Minimum Detectable Effect (MDE))

在試驗(yàn)前，我們會(huì)先設(shè)定好多大的差異(Effect size)才算有意義，我們要知道試驗(yàn)組和控制組有多少差異才叫做有效？

• 統(tǒng)計(jì)顯著性(Statistical significance)

統(tǒng)計(jì)顯著性是用來衡量試驗(yàn)假說的效力，我們會(huì)需要設(shè)定試驗(yàn)的顯著性，來判斷試驗(yàn)結(jié)果是否有代表意義。(一般來說試驗(yàn)假說的顯著性設(shè)在95%)

• 樣本數(shù)(Sample size)

樣本數(shù)大的試驗(yàn)所獲得的結(jié)果，會(huì)相對(duì)較有說服力。

看完上面的定義，不知道怎么去計(jì)算？還好你可以用下面這個(gè)連結(jié)，它會(huì)幫你計(jì)算，在控制試驗(yàn)變因之下，需要多少的Sample 才夠。

我們曾經(jīng)做過一個(gè)試驗(yàn)：設(shè)定一個(gè)baseline conversionrate=20%的例子，那如果我們的MDE是5%，且Statistical significance是95%的話，那么我們需要25,000的樣本數(shù)，才能得到有說服力的結(jié)果。通常A/B Testing都會(huì)做一段時(shí)間，如果你的網(wǎng)站平均每日流量大約在10,000人左右，將25,000/10,000，你需要2.5天，才能得到足夠的樣本數(shù)。

接著，分析數(shù)據(jù)，找出是否能驗(yàn)證假設(shè)的解釋：

等到數(shù)據(jù)都蒐集的差不多了，就要來看看數(shù)據(jù)到底能不能驗(yàn)證我們的假設(shè)，是否正確。如下圖所示，這邊我們來看一個(gè)A/B Testing完成之后，看起來很有效果，但試過一段時(shí)間之后，控制組與試驗(yàn)組成效漸漸接近的狀態(tài)。在 A/B Testing and Experimentation for Beginners這門課中，老師告訴我們不要太急著下定論，可以注意下面兩個(gè)要點(diǎn)：

變量1(Variation 1)及變量2(Variation 2)與原始(Original)在2009–12–14到2009-12–21這一週看起來是有顯著的差別，但大約在2010–01–01之后，這三條線段幾乎都重疊在一起，如果太早把所有的網(wǎng)站流量都導(dǎo)到變量的設(shè)計(jì)，可能最終的結(jié)果不一定會(huì)理想。

有可能使用者對(duì)新的變量有反應(yīng)，但部分的使用者在2010–01之后，已經(jīng)熟悉了變量，他們之后再次到訪網(wǎng)站的時(shí)候，就不再進(jìn)行購物的行為，導(dǎo)致轉(zhuǎn)化率趨于平緩。關(guān)于這點(diǎn)，我認(rèn)為應(yīng)該是這些變量都不是改善轉(zhuǎn)化率的關(guān)鍵點(diǎn)，可能要重新回到第二步進(jìn)行A/B Testing的整體流程思考，回去審視，是否有哪些數(shù)據(jù)被遺漏掉，或是沒有發(fā)現(xiàn)到使用者的關(guān)鍵行為。

當(dāng)然如果試驗(yàn)出來的結(jié)果，有很顯著的差異，那么盡早上線，將會(huì)是一個(gè)最好的選擇。

下次會(huì)更好

通常一次的A/B Testing不一定可以馬上看出成效。做完一次A/B Testing可能會(huì)有以下幾種結(jié)果：

正向的結(jié)果：假設(shè)正確，可以在數(shù)據(jù)上找到證明假設(shè)的證據(jù)。但老實(shí)說，這也不要高興得太早，原因是我看過很多文獻(xiàn)，很多改變都是在初期2~4週是有效的，但是當(dāng)時(shí)間一拉長之后，原本新版改善的成效，會(huì)漸漸趨于頻緩。

看不太出來有什么差：不要?dú)怵H，這并不表示這次的試驗(yàn)沒有用?？梢钥纯绰┒分惺欠裼行┟黠@的差距。如果還是沒有，表示這個(gè)假設(shè)并沒有完全找到值得測試的項(xiàng)目。

反面的結(jié)果：你的假設(shè)與試驗(yàn)的數(shù)據(jù)相左，新的嘗試比原本的設(shè)計(jì)結(jié)果還要來得糟，確認(rèn)一下試驗(yàn)的樣本點(diǎn)是足夠的。如果確認(rèn)之后，還是沒找到可疑之處。那就大方承認(rèn)這次的結(jié)果并不符合預(yù)期。實(shí)際上，試驗(yàn)本來就沒有一直成功的道理。重點(diǎn)是能夠在這次的試驗(yàn)中，學(xué)習(xí)到什么，才是最重要的！

除了A/B Testing這樣量化的分析之外，可能也要搭配一些問卷式的質(zhì)化分析，詢問使用者「為何沒有做完成網(wǎng)站想要他們做的行為？」增加A/B Testing的完整性。

A/B Testing=Always Be Testing

A/B Testing 已經(jīng)整合在最佳化轉(zhuǎn)化率(Conversion Rate Optimization)之中，要能從宏觀上結(jié)合商業(yè)思維，再從細(xì)節(jié)中找到使用者真正在乎的痛點(diǎn)。如此，才能進(jìn)一步地提升服務(wù)的品質(zhì)。畢竟，A/B Testing的另外一層意思就是Always Be Testing??！還等什么，點(diǎn)擊原文開啟第一次 A/B 測試，將增長作為圣誕節(jié)禮物送給自己！

原創(chuàng)： Dr.New

首席增長官CGO薦讀：

• 《實(shí)驗(yàn)引爆用戶增長：A/B測試最佳實(shí)踐》
• 《復(fù)盤36氪增長過程，如何用A/B測試進(jìn)行增長實(shí)驗(yàn)》
• 《鋪墊是提升轉(zhuǎn)化率的最佳方式》

更多精彩，關(guān)注：增長黑客（GrowthHK.cn）

增長黑客（Growth Hacker）是依靠技術(shù)和數(shù)據(jù)來達(dá)成各種營銷目標(biāo)的新型團(tuán)隊(duì)角色。從單線思維者時(shí)常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實(shí)現(xiàn)低成本甚至零成本帶來的有效增長…