阿L：聊一聊 AB測(cè)試平臺(tái)指標(biāo)配置

你是否遇到下面的問題？

• AB 測(cè)試前定好的觀察指標(biāo)需要人工跑數(shù)據(jù)獲取，導(dǎo)致實(shí)驗(yàn)周期拉長(zhǎng)；
• 觀察的實(shí)驗(yàn)指標(biāo)數(shù)據(jù)和 BI 上存在差距，需要找數(shù)據(jù)開發(fā)詢問口徑和統(tǒng)計(jì)邏輯，導(dǎo)致溝通成本增大。

在上面問題的背景下，今天和大家一起聊下 AB 測(cè)試平臺(tái)的指標(biāo)配置能力。

1 了解實(shí)驗(yàn)指標(biāo)

實(shí)驗(yàn)指標(biāo)是指，我們?cè)?AB 測(cè)試過程中，定好的用來(lái)衡量實(shí)驗(yàn)效果的度量。例如下面的點(diǎn)擊轉(zhuǎn)化率就是我們定好的一個(gè)實(shí)驗(yàn)指標(biāo)。

1.2

實(shí)驗(yàn)指標(biāo)的分類

從以下兩個(gè)方面可以對(duì)實(shí)驗(yàn)指標(biāo)進(jìn)行分類。

• 類型：

比例型實(shí)驗(yàn)指標(biāo)，例如點(diǎn)擊轉(zhuǎn)化率、次日留存率、CTR 等；

人均值實(shí)驗(yàn)指標(biāo)，例如人均點(diǎn)擊次數(shù)、人均下單金額等；

兩類指標(biāo)的差異體現(xiàn)在假設(shè)檢驗(yàn)時(shí)計(jì)算樣本方差的方式，其中比例型指標(biāo)是基于伯努利分布近似計(jì)算。

• 用途：

核心指標(biāo)，用來(lái)決策測(cè)試組勝出的直接指標(biāo)，例如上面表格中通過點(diǎn)擊轉(zhuǎn)化率決策，得到實(shí)驗(yàn)組 B 勝出；

必看指標(biāo)，每一個(gè)測(cè)試需要觀察的指標(biāo)，雖然測(cè)試功能可能對(duì)其無(wú)直接因果關(guān)系的影響，但不能對(duì)其有顯著負(fù)向的影響；

除了上面提到的幾類指標(biāo)，偶爾會(huì)對(duì)比一些絕對(duì)值的指標(biāo)，例如總的點(diǎn)擊用戶數(shù)、總的下單金額。筆者認(rèn)為只有在進(jìn)入測(cè)試組人數(shù)相同的情況下，對(duì)比這樣的絕對(duì)值指標(biāo)才有意義。否則還是需要轉(zhuǎn)化成比例型或者人均值指標(biāo)，進(jìn)行對(duì)比。

2 指標(biāo)配置的必要性

1、實(shí)驗(yàn)結(jié)論要快

AB 測(cè)試平臺(tái)指標(biāo)固化需要研發(fā)投入，有一定的人力和時(shí)間周期成本。若測(cè)試過程中依賴實(shí)驗(yàn)指標(biāo)固化，會(huì)延長(zhǎng)整個(gè)測(cè)試周期，最終導(dǎo)致 AB 測(cè)試無(wú)法快速迭代。

2、實(shí)驗(yàn)指標(biāo)多，無(wú)法提前全覆蓋

不同的 AB 測(cè)試，觀察的實(shí)驗(yàn)指標(biāo)不同。例如 UI 測(cè)試，會(huì)評(píng)估目標(biāo)點(diǎn)擊轉(zhuǎn)化率；頭條 feed 流測(cè)試，會(huì)評(píng)估人均閱讀時(shí)長(zhǎng)等。

把所有可能的實(shí)驗(yàn)指標(biāo)都固化下來(lái)，100% 無(wú)法實(shí)現(xiàn)。有些指標(biāo)只會(huì)在特定實(shí)驗(yàn)觀察，固化下來(lái)也會(huì)存在浪費(fèi)資源。

基于以上原因，AB 測(cè)試平臺(tái)具備指標(biāo)配置和管理能力必不可少。一方面提升必看指標(biāo)固化的生產(chǎn)效率，另一方面對(duì)于個(gè)性化指標(biāo)，提供了快速觀察的可能。

3 指標(biāo)配置的原理

指標(biāo)配置是一個(gè)建立在數(shù)倉(cāng)中間層模型結(jié)構(gòu)上，進(jìn)行參數(shù)配置化的指標(biāo)開發(fā)系統(tǒng)?？砂凑找欢ǖ挠?jì)算規(guī)則進(jìn)行自由的拼裝，實(shí)現(xiàn)自定義指標(biāo)的功能。

3.1

基于埋點(diǎn)事件進(jìn)行指標(biāo)配置

這類指標(biāo)配置依賴埋點(diǎn)管理平臺(tái)中的埋點(diǎn)元信息。例如我們要配置一個(gè)點(diǎn)擊注冊(cè)按鈕人均次數(shù)，只需要選中名為 “點(diǎn)擊注冊(cè)按鈕” 的埋點(diǎn)事件名稱，聚合方式選擇 “人均次數(shù)”，即可完成指標(biāo)的配置。

這種配置方式的實(shí)現(xiàn)原理，筆者會(huì)通過下面一個(gè)簡(jiǎn)單的例子給大家介紹，同時(shí)基于這種思想后面會(huì)引申出另一種指標(biāo)配置方式。

在數(shù)倉(cāng)中假設(shè)我們的埋點(diǎn)數(shù)據(jù)存儲(chǔ)下面的中間層 event_data_df 中。

我們通過以下 hivesql 可以生產(chǎn)出點(diǎn)擊注冊(cè)按鈕人均次數(shù)的指標(biāo)數(shù)據(jù)。

select
       day,
       count(*)/count(distinct uid) as index_value
from
       event_data_df
where
       event_id='click_purchase'
group by
       day

其中 click_purchase 是我們配置的事件名稱 “點(diǎn)擊注冊(cè)按鈕” 對(duì)應(yīng)的事件 ID，而count(*)/count(distinct uid) 對(duì)應(yīng) “人均次數(shù)” 的聚合方式。

不難看出我們配置的埋點(diǎn)信息，都會(huì)拼裝成一定的 sql 提交到計(jì)算平臺(tái)進(jìn)行計(jì)算。計(jì)算平臺(tái)通過計(jì)算引擎、任務(wù)調(diào)度將指標(biāo)結(jié)果計(jì)算出來(lái)，并同步至 AB 測(cè)試平臺(tái)進(jìn)行展示。如果要對(duì)埋點(diǎn)事件參數(shù)過濾或結(jié)果展示維度的配置，大家可以思考下會(huì)對(duì)應(yīng)什么樣的計(jì)算 sql，這里筆者就不詳細(xì)介紹了。

3.2

基于數(shù)倉(cāng)中間層進(jìn)行指標(biāo)配置

在介紹之前，先跟大家聊一下模板化思維的方式。

生活中大家可能遇到過這種場(chǎng)景，用微波爐加熱食物。時(shí)間太短，可能不熱。溫度太高，食物過硬。假設(shè)我們給微波爐設(shè)定個(gè)程序，第一步先用高火加熱，第二步再用中火加熱，一共加熱 5 分鐘。加熱雞腿時(shí)第一步 4 分鐘，第二步 1 分鐘，防止高火時(shí)間短導(dǎo)致不熱；加熱饅頭時(shí)，第一步 1 分鐘，第二步 4 分鐘防止高火導(dǎo)致食物過硬。

這個(gè)程序我們稱為模板，每一步的加熱時(shí)間是模板的參數(shù)，由我們加入的食物決定的。食物就是我們這個(gè)模板的配置項(xiàng)，決定模板參數(shù)的具體取值。

同樣的思想，指標(biāo)生產(chǎn)的計(jì)算 sql 中，筆者設(shè)定了以下幾個(gè)參數(shù)，通過配置項(xiàng)進(jìn)行指標(biāo)的生產(chǎn)。

指標(biāo)的數(shù)倉(cāng)中間層，對(duì)應(yīng)事件配置中的 event_data_df；

過濾條件，對(duì)應(yīng)事件配置中的 event_id=’click_purchase’；

聚合方式，對(duì)應(yīng)事件配置中的 count(*)/count(distinct uid)。

其中比較有難度的是對(duì)聚合方式的抽象，大家可以考慮下自己做的指標(biāo)中，分別有哪些聚合方式。

4 指標(biāo)配置可以帶來(lái)什么

指標(biāo)配置的核心思想，是建立一站式的指標(biāo)可視化開發(fā)服務(wù)，覆蓋了從指標(biāo)定義、指標(biāo)開發(fā)、任務(wù)調(diào)度、指標(biāo)發(fā)布、指標(biāo)應(yīng)用的全過程。

指標(biāo)配置應(yīng)用在 AB 測(cè)試平臺(tái)上，主要有以下優(yōu)勢(shì)：

1、指標(biāo)計(jì)算邏輯清晰

每個(gè)指標(biāo)基本信息、中間層模型、調(diào)度信息平臺(tái)可查，數(shù)據(jù)血緣清晰明了。

2、指標(biāo)口徑和需求一致

AB 測(cè)試平臺(tái)、BI 平臺(tái)等數(shù)據(jù)平臺(tái)展示的指標(biāo)都是配置化生產(chǎn)出來(lái)的，相同指標(biāo)口徑和用戶需求一致，不會(huì)出現(xiàn)跨平臺(tái)的差異。

3、相同的指標(biāo)需求，配置一次就夠

配置的指標(biāo)在 AB 測(cè)試平臺(tái)上或者其他平臺(tái)都可以使用，不需要重復(fù)加工生產(chǎn)。

5 企業(yè)內(nèi)部和商業(yè)化 AB 測(cè)試平臺(tái)的差異

根據(jù)筆者的調(diào)研發(fā)現(xiàn)，企業(yè)內(nèi)部 AB 測(cè)試平臺(tái)和商業(yè)化的 AB 測(cè)試平臺(tái)，在指標(biāo)配置功能建設(shè)上存在比較大的差異。

1、數(shù)據(jù)來(lái)源的差異

商業(yè)化 AB 測(cè)試平臺(tái)會(huì)和埋點(diǎn)行為分析等平臺(tái)形成產(chǎn)品合力，能夠分析的數(shù)據(jù)大都是埋點(diǎn) SDK 采集的用戶行為數(shù)據(jù)。

而企業(yè)內(nèi)部構(gòu)建的數(shù)倉(cāng)不僅包括用戶行為數(shù)據(jù)，還有服務(wù)器日志、外部數(shù)據(jù)等。

2、產(chǎn)品目標(biāo)人群的差異

商業(yè)化 AB 測(cè)試平臺(tái)面向 B 端公司中負(fù)責(zé)數(shù)據(jù)分析的角色，且 B 端公司無(wú)法對(duì)數(shù)據(jù)源進(jìn)行二次開發(fā)。

企業(yè)內(nèi)部 AB 測(cè)試平臺(tái)角色分工明確，數(shù)據(jù)開發(fā)負(fù)責(zé)指標(biāo)生產(chǎn)，產(chǎn)品運(yùn)營(yíng)負(fù)責(zé)獲取數(shù)據(jù)進(jìn)行分析。

綜上所述，企業(yè)內(nèi)部 AB 測(cè)試平臺(tái)指標(biāo)配置會(huì)考慮提升數(shù)據(jù)開發(fā)指標(biāo)生產(chǎn)效率，故而會(huì)優(yōu)先選擇基于指標(biāo)數(shù)倉(cāng)中間層配置指標(biāo)的方式。而商業(yè)化 AB 測(cè)試平臺(tái)，面向 B 端用戶，需要降低配置門檻，會(huì)選擇基于埋點(diǎn)事件配置指標(biāo)的方式。

6 結(jié)尾

筆者所在公司的指標(biāo)配置是一個(gè)獨(dú)立的平臺(tái)，在設(shè)計(jì)內(nèi)部 AB 測(cè)試平臺(tái)指標(biāo)配置能力時(shí)，我們直接復(fù)用了指標(biāo)管理平臺(tái)的能力。在指標(biāo)統(tǒng)計(jì)口徑上做到了完全復(fù)用，保障了指標(biāo)口徑的統(tǒng)一。AB 測(cè)試平臺(tái)負(fù)責(zé)在實(shí)驗(yàn)統(tǒng)計(jì)模型方面沉淀數(shù)據(jù)應(yīng)用，如常見的實(shí)驗(yàn)樣本量的計(jì)算、實(shí)驗(yàn)指標(biāo)的顯著性和置信區(qū)間的計(jì)算等。期待下期給大家分享這些統(tǒng)計(jì)模型的實(shí)現(xiàn)方式。

作者介紹

@ 阿L

熱愛學(xué)習(xí)的數(shù)據(jù)產(chǎn)品一枚；

持續(xù)更新 AB 測(cè)試平臺(tái)系列文章；

“數(shù)據(jù)人創(chuàng)作者聯(lián)盟”成員。