程源：廣告算法在阿里文娛用戶增長(zhǎng)中的實(shí)踐

導(dǎo)讀：從2019年開(kāi)始，優(yōu)酷使用DSP在今日頭條、阿里媽媽等平臺(tái)投放視頻廣告，實(shí)現(xiàn)用戶的穩(wěn)定增長(zhǎng)。我們將用戶增長(zhǎng)領(lǐng)域與廣告競(jìng)價(jià)領(lǐng)域結(jié)合，借鑒推薦領(lǐng)域的實(shí)踐，基于特有的業(yè)務(wù)背景，開(kāi)發(fā)落地了一系列算法。在成本及預(yù)算可控的條件下，最終實(shí)現(xiàn)了數(shù)百萬(wàn)DAU的引流能力。

本文主要介紹外投廣告算法在用戶增長(zhǎng)領(lǐng)域的設(shè)計(jì)及優(yōu)化，解決存在約束的條件下，實(shí)現(xiàn)最大化DAU量的問(wèn)題。

下面將圍繞四點(diǎn)展開(kāi)：

• 優(yōu)酷用戶增長(zhǎng)業(yè)務(wù)介紹
• 廣告排序算法及優(yōu)化
• 自動(dòng)化報(bào)價(jià)算法
• 總結(jié)及后續(xù)規(guī)劃

1. 用戶增長(zhǎng)業(yè)務(wù)背景

在用戶增長(zhǎng)的過(guò)程中，首先需要把用戶增長(zhǎng)劃為不同的用戶態(tài)，不同的用戶態(tài)存在不同價(jià)值。新用戶會(huì)變?yōu)榈突钣脩?、中活用戶直至高活用戶，在整體過(guò)程中，也會(huì)隨時(shí)變成沉默用戶。對(duì)用戶增長(zhǎng)而言，新用戶、低活用戶和沉默用戶是非常有價(jià)值的，他們的到訪能有效提高APP的活躍度。

RTB是實(shí)現(xiàn)用戶增長(zhǎng)的主要方式之一。它的主要流程是：首先DSP參與廣告競(jìng)價(jià)，在競(jìng)價(jià)成功之后，廣告會(huì)展現(xiàn)在外部平臺(tái)上，用戶在點(diǎn)擊之后會(huì)切換至優(yōu)酷APP上，如果感興趣的話會(huì)有視頻消費(fèi)和次日回訪。整個(gè)流程分為兩部分，前半部分歸屬于RTB競(jìng)價(jià)，后半部分屬于用戶增長(zhǎng)。

用戶增長(zhǎng)的主要業(yè)務(wù)目標(biāo)是在成本可控的條件下，最大化高價(jià)值的DAU量，即讓更多的新用戶、低活用戶以及沉默用戶來(lái)到平臺(tái)進(jìn)行消費(fèi)，增加平臺(tái)活躍度。

2.?廣告競(jìng)價(jià)RTB概述

RTB有兩個(gè)比較重要的組件：廣告主競(jìng)價(jià)代理DSP和提供競(jìng)價(jià)接入、判定競(jìng)價(jià)成功與否的平臺(tái)ADX ( 例如頭條ADX，阿里的TanX )。

RTB過(guò)程如下：當(dāng)用戶訪問(wèn)的Web頁(yè)面或APP應(yīng)用時(shí)，請(qǐng)求發(fā)送至ADX，由ADX轉(zhuǎn)發(fā)至多個(gè)DSP，DSP根據(jù)從用戶需求平臺(tái) ( DMP ) 上取得的用戶特征進(jìn)行預(yù)估，在100ms之內(nèi)將廣告和出價(jià)返回至ADX，之后ADX根據(jù)多個(gè)DSP返回的結(jié)果，根據(jù)一定的排序規(guī)則和計(jì)費(fèi)規(guī)則，選擇一個(gè)合適的廣告投放給用戶，之后又將用戶是否點(diǎn)擊這條廣告的信息返回給成功獲得了該次競(jìng)價(jià)的DSP代理。

RTB中的主要關(guān)注點(diǎn)是成交機(jī)制和計(jì)費(fèi)模式，其中成交機(jī)制包括：GFP ( 最高價(jià)格成交 )， GSP ( 第二價(jià)成交，通用的方式 )， VCG ( 通過(guò)效用計(jì)算成交價(jià)格，存在算法上，理解上的難度，用的較少 )。計(jì)費(fèi)模式主要有CPM，CPC，CPA和OCPX，其中CPM是由廣告主承擔(dān)預(yù)估風(fēng)險(xiǎn)，由DSP預(yù)估用戶對(duì)廣告主的價(jià)值，CPC和CPA是由平臺(tái)來(lái)預(yù)估用戶對(duì)于各個(gè)DSP的價(jià)值，OCPX是由平臺(tái)自動(dòng)調(diào)整出價(jià)，由平臺(tái)預(yù)估價(jià)值，用戶承擔(dān)風(fēng)險(xiǎn)。

在我們的業(yè)務(wù)場(chǎng)景中，使用的是GSP成交機(jī)制，CPM的計(jì)費(fèi)模式。并且優(yōu)酷業(yè)務(wù)場(chǎng)景有鮮明的特點(diǎn)：

• 使用CPM計(jì)費(fèi)，需要我們自身建模預(yù)估，但可利用站內(nèi)數(shù)據(jù)；
• 對(duì)于不同用戶態(tài)的拉活，引流成本是不一樣的，需要針對(duì)不同人群提供成本控制；
• 作為只有一個(gè)用戶的DSP代理，可以接入不同的ADX平臺(tái)，需要針對(duì)多渠道多平臺(tái)做模型融合。

雖然現(xiàn)有的ADX平臺(tái)能夠支持直接在上面投放廣告，但是存在很多問(wèn)題：不支持定向用戶分層，不支持個(gè)性化，數(shù)據(jù)屬于平臺(tái)方，無(wú)法進(jìn)行后續(xù)優(yōu)化，接入平臺(tái)過(guò)多也會(huì)增加消耗等等，因此我們自建DSP，滿足業(yè)務(wù)場(chǎng)景需求。

1.?算法流程

離線產(chǎn)生數(shù)百萬(wàn)的廣告，第一步通過(guò)人工精選或者算法選擇來(lái)保證廣告池的動(dòng)態(tài)進(jìn)出，例如刪除投放時(shí)間過(guò)長(zhǎng)，點(diǎn)擊率過(guò)低的廣告，通過(guò)算法選擇高質(zhì)量的廣告；第二步通過(guò)個(gè)性化多路召回適合用戶的千百個(gè)廣告；第三步將經(jīng)過(guò)召回的廣告通過(guò)規(guī)則過(guò)濾，例如會(huì)過(guò)濾重復(fù)廣告，或者會(huì)根據(jù)曝光頻率來(lái)控制；第四步將這些廣告通過(guò)預(yù)估模型，選擇價(jià)值最高的廣告通過(guò)報(bào)價(jià)算法產(chǎn)生報(bào)價(jià)，最后將廣告和報(bào)價(jià)結(jié)果返回至ADX。

與推薦系統(tǒng)相比，流程借鑒了推薦系統(tǒng)的多路個(gè)性化召回，區(qū)別在于推薦系統(tǒng)關(guān)注Rank順序，而廣告還關(guān)注CTR偏差，推薦系統(tǒng)一般最后的組件是重排 ( ReRank )，而廣告系統(tǒng)在預(yù)估之后需要進(jìn)行報(bào)價(jià)計(jì)算。

2.?算法實(shí)現(xiàn)方案

我們面對(duì)的業(yè)務(wù)場(chǎng)景的主要特點(diǎn)是：

• RT限制比較嚴(yán)格，要在100ms內(nèi)返回；
• 存在多渠道多平臺(tái)；
• 接入量大，機(jī)器資源比較緊張。

常用的排序模型有LR，GBDT，DNN ( DCN/WDL/MMOE ) 等，LR需要大量的特征工程工作來(lái)提高模型精度，GBDT的訓(xùn)練和預(yù)估都很快，能有效緩解RT問(wèn)題，但是類(lèi)別特征的處理上容易使模型過(guò)擬合，DNN的embedding技術(shù)能夠處理各種特征，但是由于需要存儲(chǔ)包含每個(gè)特征對(duì)應(yīng)的embedding的大矩陣，線上內(nèi)存消耗很大，而且DNN類(lèi)的模型雖然能達(dá)到很高的精度，但訓(xùn)練和預(yù)估都很耗資源并且打分時(shí)的RT很高。

在多渠道多平臺(tái)統(tǒng)一模型方面，主要存在兩個(gè)問(wèn)題：

• 不同渠道之間有差異。例如汽車(chē)相關(guān)廣告，在母嬰社區(qū)和汽車(chē)之家論壇點(diǎn)擊率之間會(huì)有不同；
• 渠道平臺(tái)相關(guān)沒(méi)有現(xiàn)成的特征。在實(shí)際中，我們以平臺(tái)本身作為特征，通過(guò)根據(jù)歷史數(shù)據(jù)構(gòu)建不同平臺(tái)的統(tǒng)計(jì)特征，使模型感知到渠道平臺(tái)的差異，最后基于不同平臺(tái)不同分層的Match特征，實(shí)現(xiàn)了由LR單渠道模型到GBDT統(tǒng)一模型的升級(jí)，帶來(lái)了業(yè)務(wù)上的明顯收益。

3.?遇到的問(wèn)題和思考

推薦中常用召回都是Item-based，通過(guò)用戶觀看的視頻來(lái)尋找相似的視頻，認(rèn)為這些相似視頻是用戶喜歡的視頻，這導(dǎo)致推薦系統(tǒng)有以下缺陷：

• 用戶觀看的視頻未必是用戶喜歡；
• 相似視頻的相似之處未必是用戶觀看視頻的真正原因；
• 低頻用戶觀看的視頻非常少，推薦結(jié)果缺乏多樣性。

從因果推斷的角度思考上述問(wèn)題的話，我們認(rèn)為用戶變沉默的原因是對(duì)之前推薦的內(nèi)容不滿意，而用戶留存的原因是因?yàn)橥扑]的視頻他比較喜歡，因此，我們利用無(wú)偏信息構(gòu)建相似度量，構(gòu)造低活用戶到高活用戶的匹配，找到他的反事實(shí)鏡像人，然后進(jìn)行相關(guān)推薦，在業(yè)務(wù)上也取得了很大收益。

1.?業(yè)務(wù)背景及問(wèn)題的形式化定義

不同的場(chǎng)景下，廣告投放的報(bào)價(jià)算法存在不同的約束，主要場(chǎng)景包括日常投放和沖量投放，本質(zhì)上都是多渠道多分層的投放。對(duì)于日常投放而言，會(huì)存在預(yù)算約束，首活成本約束，用戶價(jià)值約束 ( 需要去高活，要更多的高質(zhì)量沉默用戶 )；當(dāng)運(yùn)營(yíng)有沖量需求時(shí)為沖量投放，這時(shí)預(yù)算充足，有首活成本約束，用戶價(jià)值約束。

2. 單PID解決沖量投放

根據(jù)沖量投放的條件：預(yù)算充足、有首活成本約束、用戶價(jià)值約束，可以解出報(bào)價(jià)公式，即報(bào)價(jià)為預(yù)估的CTR/CVR與報(bào)價(jià)系數(shù)alpha之積。我們通過(guò)單控制器的方法來(lái)控制報(bào)價(jià)系數(shù)alpha，使其再能夠滿足成本約束的同時(shí)提升轉(zhuǎn)化率。

控制器根據(jù)Feedback數(shù)據(jù)和控制函數(shù)計(jì)算公式，可以計(jì)算出一個(gè)信號(hào)，再將其傳入執(zhí)行器中通過(guò)執(zhí)行器函數(shù)計(jì)算，從而給出報(bào)價(jià)。常見(jiàn)的控制器有PID和水波控制器，PID通過(guò)振幅，累積誤差和波動(dòng)來(lái)調(diào)節(jié)，而水波控制器僅僅通過(guò)累計(jì)誤差來(lái)進(jìn)行調(diào)節(jié)，能力相對(duì)弱一些。執(zhí)行器是將控制信號(hào)進(jìn)行指數(shù)變換，對(duì)初始值進(jìn)行放大或者縮小，實(shí)現(xiàn)最后的出價(jià)。

3.?日常投放解決方案

對(duì)于日常投放而言，會(huì)存在預(yù)算約束，首活成本約束，用戶價(jià)值約束 ( 需要去高活，要更多的高質(zhì)量沉默用戶 )，我們采用多目標(biāo)約束下的最大化問(wèn)題來(lái)建模，用拉格朗日對(duì)偶法解決，能解出一個(gè)出價(jià)公式 ( 可參考KDD2018對(duì)應(yīng)論文 )。計(jì)算所得的出價(jià)公式中有兩個(gè)參數(shù)p、q，我們通過(guò)兩個(gè)PID對(duì)這兩個(gè)參數(shù)進(jìn)行控制來(lái)實(shí)現(xiàn)報(bào)價(jià)。不同于單PID的解決方案，一是在q控制器中增加了修正信號(hào)，使其以最終CPC為控制目標(biāo)，二是利用線性插值的方法建模兩個(gè)PID之間的耦合影響 ( 具體方法可以參考KDD2018 )。

4.?報(bào)價(jià)工程化

用戶的請(qǐng)求通過(guò)DSP接入管理后臺(tái)，請(qǐng)求在進(jìn)入系統(tǒng)之后，有以下流程：

• 接入后臺(tái)產(chǎn)生競(jìng)價(jià)、曝光、點(diǎn)擊等日志，通過(guò)Blink解析統(tǒng)計(jì)得到誤差數(shù)據(jù)，將誤差數(shù)據(jù)實(shí)施寫(xiě)入內(nèi)存數(shù)據(jù)庫(kù)，并保存歷史誤差數(shù)據(jù)；
• 報(bào)價(jià)算法核心 ( 為了保證最大化利用流量，M分鐘定時(shí)調(diào)度一次，一次即為一個(gè)時(shí)間步 ) 通過(guò)離線平臺(tái)得到投放計(jì)劃，成本、預(yù)算、算法參數(shù)等，然后從內(nèi)存數(shù)據(jù)庫(kù)中讀取誤差數(shù)據(jù)，計(jì)算當(dāng)前報(bào)價(jià)參數(shù)并寫(xiě)入內(nèi)存數(shù)據(jù)庫(kù)；
• 數(shù)據(jù)在TPP平臺(tái)進(jìn)行廣告召回，點(diǎn)擊率預(yù)估等，最后讀取內(nèi)存數(shù)據(jù)庫(kù)中的報(bào)價(jià)參數(shù)并返回廣告和出價(jià)。

整個(gè)實(shí)踐過(guò)程中，在技術(shù)選型方面，除了理論上的支持，我們必須考慮機(jī)器資源，人力等方面的約束，并考慮到各種可用資源 ( 公司內(nèi)部，開(kāi)源等 )，將整個(gè)目標(biāo)進(jìn)行體系化，分層拆分優(yōu)化，通過(guò)算法AB系統(tǒng)驅(qū)動(dòng)效率提升；針對(duì)業(yè)務(wù)特點(diǎn)建模，具體問(wèn)題具體分析，技術(shù)為業(yè)務(wù)服務(wù)。

后續(xù)，我們可以在實(shí)現(xiàn)CTR預(yù)估的基礎(chǔ)上，實(shí)現(xiàn)用戶價(jià)值的預(yù)估，實(shí)現(xiàn)多目標(biāo)預(yù)估；在報(bào)價(jià)算法上，可以嘗試基于強(qiáng)化學(xué)習(xí)進(jìn)行報(bào)價(jià)；業(yè)務(wù)上，可以由促活擴(kuò)展至拉新，熱劇宣發(fā)，會(huì)員等方面，這些都可以依托已建立的預(yù)估系統(tǒng)和報(bào)價(jià)技術(shù)框架進(jìn)行發(fā)展。

今天的分享就到這里，謝謝大家。

文源：datafuntalk

特別提示：關(guān)注本專(zhuān)欄，別錯(cuò)過(guò)行業(yè)干貨！

PS：本司承接 抖音關(guān)鍵詞排名，抖音創(chuàng)意視頻，抖音種草，達(dá)人探店，明星推薦，等業(yè)務(wù)；

咨詢微信：139 1053 2512 (同電話) 

首席增長(zhǎng)官CGO薦讀：

• 《小紅書(shū)推廣：筆記排名，KOC種草，達(dá)人筆記，數(shù)據(jù)優(yōu)化》
• 《小紅書(shū)變身小紅店，能否實(shí)現(xiàn)種草、拔草一條龍？》
• 《小紅書(shū)種草太狠了：我從交智商稅筆記里學(xué)到了爆款套路！》

更多精彩，關(guān)注：增長(zhǎng)黑客（GrowthHK.cn）

增長(zhǎng)黑客（Growth Hacker）是依靠技術(shù)和數(shù)據(jù)來(lái)達(dá)成各種營(yíng)銷(xiāo)目標(biāo)的新型團(tuán)隊(duì)角色。從單線思維者時(shí)常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實(shí)現(xiàn)低成本甚至零成本帶來(lái)的有效增長(zhǎng)…