個(gè)性化推薦之召回的方法

在這個(gè)信息爆炸的時(shí)代，每個(gè)人都是內(nèi)容的消費(fèi)者，也輕而易舉地可以成為內(nèi)容的創(chuàng)造者。在海量的信息中，用戶找到所需、所想、所愛的優(yōu)質(zhì)內(nèi)容變得異常困難，個(gè)性化推薦也因此應(yīng)運(yùn)而生。

個(gè)性化推薦是在大數(shù)據(jù)分析和人工智能技術(shù)的基礎(chǔ)上，通過用戶行為分析，進(jìn)行深度計(jì)算，從而給用戶提供高質(zhì)量的個(gè)性化內(nèi)容，起到降低信息過載、發(fā)掘長尾、提高轉(zhuǎn)化率的作用，最終更好更快地滿足用戶需求。

神策智能打造的一款基于用戶行為分析的全流程智能推薦系統(tǒng)。該系統(tǒng)主要分為兩個(gè)階段：召回階段和排序階段。因此，在詳細(xì)講述召回的方法前，我們先來看看召回階段的作用和目的。

一、召回階段的作用和目的

召回階段可以理解為根據(jù)用戶的歷史行為數(shù)據(jù)，為用戶在海量的信息中粗選一批待推薦的內(nèi)容，挑選出一個(gè)小的候選集，相當(dāng)于粗排序。排序階段再在此基礎(chǔ)上進(jìn)行更精準(zhǔn)的計(jì)算，做到給每一個(gè)內(nèi)容進(jìn)行精確打分，相當(dāng)于精排序。

如下圖，用戶畫像、內(nèi)容分析、機(jī)器學(xué)習(xí)平臺(tái)是支持召回和排序的三個(gè)獨(dú)立組件，另外，通過點(diǎn)擊、觀看、收藏、評(píng)價(jià)等用戶行為數(shù)據(jù)作為數(shù)據(jù)輸入的主要來源。

舉個(gè)例子，神策的某個(gè)資訊類客戶，每天的內(nèi)容量級(jí)為十萬以上，在召回階段根據(jù)用戶的歷史行為數(shù)據(jù)分析出其興趣和偏好，再在海量的政治、歷史、體育、娛樂等內(nèi)容中，挑選出一個(gè)小的候選集，如用戶主要對歷史和體育感興趣，候選集中就主要是歷史和體育的內(nèi)容，娛樂、政治等其他內(nèi)容就會(huì)被過濾掉，排序階段會(huì)以此為基礎(chǔ)進(jìn)行更精準(zhǔn)地計(jì)算，通過機(jī)器學(xué)習(xí)預(yù)估用戶的喜歡程度對使用不同的召回方法獲得的候選集的內(nèi)容進(jìn)行更精細(xì)化地打分，使其變得有序，經(jīng)過這兩個(gè)階段后，最終為用戶精挑細(xì)選出用戶最感興趣的高質(zhì)量內(nèi)容。

綜上所述，個(gè)性化推薦系統(tǒng)是一個(gè)流程：海量 Item——召回（粗排）——候選集合——排序（精排）——排序列表——規(guī)則（多樣化推薦）——推薦結(jié)果。

事實(shí)上，作為信息過濾的第一環(huán)，召回對于個(gè)性化推薦系統(tǒng)極其重要，神策智能推薦在保障數(shù)據(jù)源的準(zhǔn)確性基礎(chǔ)上，使用了多種召回方法加強(qiáng)個(gè)性化推薦的推薦精準(zhǔn)性。下面將為你詳解：

二、基于深度用戶行為分析的召回

基于深度用戶行為分析的召回，能更全面且精細(xì)化地解讀用戶真實(shí)需求，并為其推薦。市場上熟知的基于用戶行為分析的召回主要通過以下兩種思路：

1.基于內(nèi)容的協(xié)同過濾

基于內(nèi)容的協(xié)同過濾，簡而言之是根據(jù)用戶喜歡的內(nèi)容推薦與之相似的內(nèi)容。比如某個(gè)用戶喜歡 A 內(nèi)容，算法就會(huì)為用戶推薦 A1、A2 等與 A 相似的內(nèi)容，而不是推薦 Z9 等相關(guān)性小的內(nèi)容。

舉個(gè)例子，百度視頻會(huì)根據(jù)用戶正在觀看或者歷史偏好的視頻，進(jìn)行個(gè)性化的推薦。如在百度視頻首頁搜索《知否知否應(yīng)是綠肥紅瘦》就會(huì)出現(xiàn)根據(jù)主演趙麗穎推薦的相關(guān)電視劇。

2.基于用戶的協(xié)同過濾

基于用戶的協(xié)同過濾，簡而言之，推薦相似用戶喜歡的內(nèi)容。比如，A 用戶和 B 用戶喜歡的內(nèi)容一致，這種方式就會(huì)向 A 用戶推薦 B 用戶喜歡但是 A 用戶沒有看的內(nèi)容。

舉個(gè)例子，某咨詢類 App 有娛樂、奇趣、健康、美食等內(nèi)容分類，對于喜歡娛樂新聞的用戶可以將所有同樣喜歡娛樂內(nèi)容的用戶最近最愛看的一些資訊放在有娛樂新聞偏好的用戶的熱門流中。

神策智能推薦在具備多種協(xié)同過濾推薦機(jī)制的基礎(chǔ)上，采用基于行為的深度學(xué)習(xí)召回模型，再根據(jù)用戶行為數(shù)據(jù)訓(xùn)練模型，加強(qiáng)了推薦系統(tǒng)推薦的智能性和準(zhǔn)確性。該深度學(xué)習(xí)召回模型是借鑒谷歌的個(gè)性化推薦思路（如下圖），并汲取用戶行為分析實(shí)踐經(jīng)驗(yàn)結(jié)合企業(yè)的最新實(shí)踐需求進(jìn)行了個(gè)性化的優(yōu)化迭代。

相比基于矩陣分解的協(xié)同過濾方式，深度學(xué)習(xí)召回模型有如下優(yōu)勢：

第一，更全面的行為表達(dá)。在模型中結(jié)合點(diǎn)擊、收藏、搜索等多種行為，能更全面地表示用戶行為偏好。

第二，可添加畫像特征，可加入性別、地域等用戶畫像相關(guān)的特征。如果你有額外的一些標(biāo)簽或發(fā)生的信息，這個(gè)模型是可以兼容的，它可以把所有信息糅雜在同一模型里面去做，而在協(xié)同過濾模型里面是完全無法引入的。

第三，考慮用戶的行為順序。比如用戶通常的行為順序是，先買一個(gè)手機(jī)，然后再去買一個(gè)手機(jī)殼；買了一個(gè)汽車后可能會(huì)買個(gè)汽車坐墊。

第四，組合復(fù)雜特征。神經(jīng)網(wǎng)絡(luò)可以進(jìn)行更復(fù)雜的特征組合，挖掘更深層次的關(guān)聯(lián)關(guān)系。

三、基于用戶畫像的召回

1.利用已有的關(guān)注關(guān)系

關(guān)注關(guān)系就是用戶顯性化的喜愛偏好。用戶的每次瀏覽、每次點(diǎn)擊、每次填寫、每次搜索都隱藏了你的用戶偏好。如下圖，當(dāng)用戶的站內(nèi)搜索、瀏覽頁面、點(diǎn)擊標(biāo)簽、點(diǎn)擊按鈕等行為的數(shù)據(jù)都能抓到并進(jìn)行分析，就能做到給用戶的內(nèi)容更逼近其心中所想和心中所愛。

再比如，淘寶也會(huì)根據(jù)用戶收藏和歷史的搜索行為進(jìn)行推薦，如下圖淘寶的收藏中有運(yùn)動(dòng)褲，下面的猜你喜歡就會(huì)推薦相關(guān)的運(yùn)動(dòng)褲。

2.基于標(biāo)簽構(gòu)建用戶畫像

不同性別、年齡、職業(yè)、地區(qū)的用戶對內(nèi)容的興趣偏好有所不同，即使同一性別、年齡、職業(yè)的偏好也有很大差異，所謂千人千面，每個(gè)用戶都有其特征和偏好。因此，很多企業(yè)都有自身的標(biāo)簽平臺(tái)，如縱橫小說會(huì)根據(jù)用戶行為數(shù)據(jù)結(jié)合內(nèi)容標(biāo)簽，構(gòu)建用戶畫像標(biāo)簽，通過這種方式召回用戶感興趣的內(nèi)容。

四、保障推薦的有效冷啟動(dòng)和推薦多樣性的方法

推薦系統(tǒng)的冷啟動(dòng)場景主要分為三類：

用戶冷啟動(dòng)：即如何給新用戶做個(gè)性化推薦，事實(shí)上，第一次展現(xiàn)給用戶的 item 極其重要，決定了用戶的第一印象；

內(nèi)容冷啟動(dòng)：即如何將新的內(nèi)容推薦給潛在對它感興趣的用戶；

系統(tǒng)冷啟動(dòng)：即如何在一個(gè)新開發(fā)的產(chǎn)品中（無用戶、無用戶行為，只有一些內(nèi)容）設(shè)計(jì)個(gè)性化推薦，從而在產(chǎn)品剛發(fā)布就讓用戶體驗(yàn)到個(gè)性化推薦服務(wù)。

1.運(yùn)用自然語言處理技術(shù)，解決內(nèi)容冷啟動(dòng)問題

關(guān)于冷啟動(dòng)，神策智能推薦，會(huì)運(yùn)用自然語言處理技術(shù)對新的內(nèi)容進(jìn)行語義分析，我們可以這樣理解，市面上很多都是文本數(shù)據(jù)的一些“顯式”使用方法，包括在前面介紹的標(biāo)簽也是，所謂顯式，是指我們將可讀可理解的文本本身作為了相關(guān)性計(jì)算、召回以及模型排序的特征。這樣做的優(yōu)勢是能夠清晰地看到起作用的是什么，但是其劣勢是無法捕捉到隱藏在文本表面之下的深層次信息。例如，“衣服”和“上衣”指的是類似的東西，“厚外套”和“棉服”具有很強(qiáng)的相關(guān)性，類似這樣的深層次信息，是顯式的文本處理所無法捕捉的，因此我們需要一些更復(fù)雜的方法來捕捉，而自然語言處理技術(shù)就能捕捉到，運(yùn)用從詞下沉到主題的思路，挖掘更深層次的核心信息。

神策智能推薦運(yùn)用自然語言處理技術(shù)——基于神經(jīng)網(wǎng)絡(luò)的文本語義分析模型（如下圖），相比市面上通過打標(biāo)簽的方式推薦，可以做到更深層次的偏好挖掘推薦，舉個(gè)例子，如果用戶閱讀了大量包含甄子丹、成龍、李小龍等關(guān)鍵詞的文章，可以挖掘出用戶對功夫類主題的內(nèi)容偏好，并為其推薦。

2.運(yùn)用 UCB 探索用戶的潛在興趣算法，保證推薦結(jié)果的多樣性

在推薦的過程中，需要考慮給新 item 展示的機(jī)會(huì)，比如給一個(gè)喜歡歷史分類資訊的用戶推薦一些娛樂、政治等其他資訊，解決加強(qiáng)推薦多樣性的問題。

大家所熟知的是通過隨機(jī)分配一部分流量給新 item 曝光，得到一些反饋，然后模型才能對其有較好的建模能力，這是比較傳統(tǒng)的冷啟動(dòng)套路。

神策智能推薦采用的是 upperconfidence bound(UCB) 策略: 假設(shè)有 K 個(gè)新 item 沒有任何先驗(yàn)，每個(gè) item 的回報(bào)也完全不知道。每個(gè) item 的回報(bào)均值都有個(gè)置信區(qū)間，而隨著試驗(yàn)次數(shù)增加，置信區(qū)間會(huì)變窄，對應(yīng)的是最大置信邊界向均值靠攏。如果每次投放時(shí)，我們選擇置信區(qū)間上限最大的那個(gè)，則就是 UCB 策略。這個(gè)策略主要是通過以下兩個(gè)原理達(dá)成更好地推薦：均值差不多時(shí)，優(yōu)先給統(tǒng)計(jì)不那么充分的資訊多些曝光；均值有差異時(shí)，優(yōu)先出效果好的。

五、根據(jù)多源數(shù)據(jù)召回，保障推薦的全面性和精準(zhǔn)性

企業(yè)產(chǎn)生數(shù)據(jù)的方式多種多樣，推薦系統(tǒng)的個(gè)性化精準(zhǔn)推薦，離不開對業(yè)務(wù)和用戶的精準(zhǔn)把控，只有獲取足夠全面、顆粒度足夠細(xì)的數(shù)據(jù)才能更精準(zhǔn)的了解用戶。神策智能推薦支持企業(yè)結(jié)合業(yè)務(wù)角度和時(shí)事熱點(diǎn)等多方面，利用多種數(shù)據(jù)源的整合與綜合分析，如支持將熱門、編輯精選、最新、本地化內(nèi)容等多類數(shù)據(jù)進(jìn)行綜合，吸取不同數(shù)據(jù)源的特點(diǎn)，并將這些內(nèi)容放入到候選集里，為排序提供足夠全面且詳盡的內(nèi)容。

比如，某個(gè)資訊類 APP 的編輯會(huì)在熱門流中精選出部分內(nèi)容，形成一個(gè)精選內(nèi)容集，就是一個(gè)精選出來的數(shù)據(jù)源，可將其放入候選集中，再次推薦增加曝光。再比如，當(dāng)出了某些熱門事件，資訊類 APP 就可以通過編輯打標(biāo)簽、手動(dòng)篩選或通過某個(gè)簡單的程序抓取相關(guān)的內(nèi)容，將其歸為一類放入內(nèi)容池，再經(jīng)過一系列操作后進(jìn)行推薦。

最后，我們整體上回顧一下前面介紹的召回方法（如下圖）。

事實(shí)上，神策智能推薦是以數(shù)據(jù)為根基，4 種主要召回的方法為關(guān)鍵，保障召回的候選集的全面、準(zhǔn)確、個(gè)性化，為后面的排序打下良好基礎(chǔ)。這里引用神策數(shù)據(jù)架構(gòu)師房東雨的一句話，“數(shù)據(jù)和特征決定了機(jī)器學(xué)習(xí)的上限，而模型和算法只是逼近這個(gè)上限而已”，這也是神策智能推薦如此強(qiáng)調(diào)數(shù)據(jù)根基的原因，因?yàn)槿绻愕臄?shù)據(jù)根基沒有做好，那所有的工作都是徒勞的。

文：策小編@神策數(shù)據(jù)(SensorsDataCrop)

首席增長官CGO薦讀：

• 《 從“大同”到“差異”，看QQ瀏覽器如何實(shí)現(xiàn)個(gè)性化營銷》
• 《?CGO參考：攜程個(gè)性化推薦算法實(shí)踐 》
• 《 商業(yè)增長：增長的秘密之成功的品牌營銷案例 》

更多精彩，關(guān)注：增長黑客（GrowthHK.cn）

增長黑客（Growth Hacker）是依靠技術(shù)和數(shù)據(jù)來達(dá)成各種營銷目標(biāo)的新型團(tuán)隊(duì)角色。從單線思維者時(shí)常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實(shí)現(xiàn)低成本甚至零成本帶來的有效增長…