一文詳解數(shù)據(jù)埋點(diǎn)｜馬同學(xué)的數(shù)據(jù)筆記

數(shù)據(jù)流程：數(shù)據(jù)生產(chǎn)-數(shù)據(jù)采集-數(shù)據(jù)處理-數(shù)據(jù)分析和挖掘-數(shù)據(jù)驅(qū)動/用戶反饋-產(chǎn)品優(yōu)化/迭代。

數(shù)據(jù)埋點(diǎn)是基于業(yè)務(wù)需求或產(chǎn)品需求對用戶在應(yīng)用內(nèi)產(chǎn)生行為的每一個(gè)事件對應(yīng)的頁面和位置植入相關(guān)代碼，并通過采集工具上報(bào)統(tǒng)計(jì)數(shù)據(jù)，以便相關(guān)人員追蹤用戶行為（點(diǎn)擊、瀏覽），推動產(chǎn)品優(yōu)化或指導(dǎo)運(yùn)營的一項(xiàng)工程。

為什么要做數(shù)據(jù)埋點(diǎn)？

埋點(diǎn)將產(chǎn)品數(shù)據(jù)分析的深度下鉆到流量分布和流動層面，通過對產(chǎn)品中的用戶交互行為的統(tǒng)計(jì)分析，對宏觀指標(biāo)進(jìn)行深入剖析，發(fā)現(xiàn)指標(biāo)背后的問題，尋找人群的行為特點(diǎn)和關(guān)系，洞察用戶行為與提升業(yè)務(wù)價(jià)值之間的潛在關(guān)聯(lián)，了解組成特定數(shù)據(jù)現(xiàn)象的原因，并據(jù)此構(gòu)建產(chǎn)品優(yōu)化迭代和運(yùn)營策略。

• 獲取關(guān)鍵指標(biāo)。埋點(diǎn)可以獲得一些關(guān)鍵指標(biāo)——瀏覽人數(shù)、點(diǎn)擊率、轉(zhuǎn)化率、退出率等等。
• 定位問題，監(jiān)控產(chǎn)品的流暢性，挖掘流失點(diǎn)，優(yōu)化產(chǎn)品。（漏斗優(yōu)化、用戶增長、流失用戶預(yù)警）通過獲得來的數(shù)據(jù)，我們可以判斷出哪些功能模塊對于用戶有較強(qiáng)的吸引作用，哪些功能模塊用戶瀏覽、點(diǎn)擊較少，從而定位出問題，對產(chǎn)品進(jìn)行改進(jìn)。
• 分析運(yùn)營策略的合理性，優(yōu)化用戶體驗(yàn)，提高使用效率。（精準(zhǔn)營銷、場景化提示/私人助理）比如用戶去餐廳購買產(chǎn)品，每次都需要在APP中選擇是否使用優(yōu)惠券，但是通過埋點(diǎn)發(fā)現(xiàn)，全部的用戶對于該商家都是選擇的否，那么說明該商家是從來沒有進(jìn)行優(yōu)惠券的發(fā)放，那么就可以考慮在商家版中增加一個(gè)是否讓用戶選擇優(yōu)惠券的選項(xiàng)，若商家沒有優(yōu)惠券，那么用戶就可以直接跳過選擇是否使用優(yōu)惠券，從而提升用戶體驗(yàn)及使用效率。
• 分析用戶消費(fèi)行為，分析不同渠道用戶行為差異。（風(fēng)險(xiǎn)識別）

埋點(diǎn)方式

前端的埋點(diǎn)方式主要分為代碼埋點(diǎn)、可視化埋點(diǎn)、無埋點(diǎn)三種。

1.代碼埋點(diǎn)

在終端嵌入SDK，定義事件并添加事件代碼，用戶所有操作行為會調(diào)用SDK的相應(yīng)數(shù)據(jù)接口然后把數(shù)據(jù)發(fā)送服務(wù)端（數(shù)據(jù)庫）。按需采集，業(yè)務(wù)信息更完善，對數(shù)據(jù)的分析更聚焦，因此代碼埋點(diǎn)是一種以業(yè)務(wù)價(jià)值為出發(fā)的行為分析。

• 優(yōu)點(diǎn)：數(shù)據(jù)準(zhǔn)確性高，自定義程度高，具有很強(qiáng)的靈活性，可以控制發(fā)送的時(shí)機(jī)和發(fā)送方式等。

埋點(diǎn)準(zhǔn)確性順序：代碼埋點(diǎn)＞可視化埋點(diǎn)＞全埋點(diǎn)，SDK較小，對應(yīng)用本身的使用體驗(yàn)沒有影響，是最可控的埋點(diǎn)方式。

• 缺點(diǎn)：需要開發(fā)工程師手工開發(fā)，工作量大，人力成本較高；有時(shí)候還要依賴App發(fā)版來生效。
• 市面上產(chǎn)品有：GA（google analytics）、友盟、百度統(tǒng)計(jì)

舉例·應(yīng)用場景：

• 如果你不希望在采集數(shù)據(jù)的同時(shí)，降低用戶體驗(yàn)
• 如果你不希望采集到海量無用數(shù)據(jù)
• 如果你希望采集的數(shù)據(jù)：顆粒度更細(xì)，維度更多，數(shù)據(jù)分析的準(zhǔn)確性更高那么，從業(yè)務(wù)增長的長遠(yuǎn)價(jià)值考慮，請選擇代碼埋點(diǎn)。
• 常見的如：頁面停留時(shí)間，頁面瀏覽深度，視頻播放時(shí)長，用戶鼠標(biāo)軌跡，表單項(xiàng)停留及終止等等。尤其是一些非點(diǎn)擊的、不可視的行為，是非要代碼埋點(diǎn)來實(shí)現(xiàn)不可了。

2.可視化埋點(diǎn)

可視化埋點(diǎn)以前端可視化的方式記錄前端設(shè)置頁面元素與對其操作的關(guān)系，然后以后端截屏的方式統(tǒng)計(jì)數(shù)據(jù)。無須進(jìn)行添加代碼，只需在相應(yīng)應(yīng)用界面追加事件數(shù)據(jù)點(diǎn)即可（對于點(diǎn)擊操作的埋點(diǎn)是目前可視化埋點(diǎn)的主攻點(diǎn)）。核心代碼與資源配置器分開，當(dāng)啟動應(yīng)用時(shí)從服務(wù)端更新配置和資源，應(yīng)用根據(jù)新的配置和資源發(fā)送數(shù)據(jù)。

支持可視化埋點(diǎn)的SDK 會在被監(jiān)測的網(wǎng)站或移動應(yīng)用被訪問時(shí)向服務(wù)器校驗(yàn)是否有新的埋點(diǎn)，如果發(fā)現(xiàn)更新的埋點(diǎn)，則會從服務(wù)器下載并且立即生效。這樣就能確保服務(wù)器收到最新的埋點(diǎn)后，所有客戶端都能在下一次訪問時(shí)得到部署了。

• 優(yōu)點(diǎn)：界面化配置，無需開發(fā)（可視化埋點(diǎn)的理念是提升原工作流程的效率——依然要梳理需求、設(shè)計(jì)埋點(diǎn)），埋點(diǎn)更新便捷，生效快（可直接在網(wǎng)站或移動應(yīng)用的真實(shí)界面上操作埋點(diǎn)，而且埋點(diǎn)之后立即可以驗(yàn)證埋點(diǎn)是否正確，而且將埋點(diǎn)部署到所有客戶端也是幾乎實(shí)時(shí)生效的。）。
• 缺點(diǎn)：不靈活，存在部分?jǐn)?shù)據(jù)死角（埋點(diǎn)自定義屬性支持較差；重構(gòu)或者頁面變化時(shí)需要重新配置），同時(shí)每次啟動加載服務(wù)端配置資源，消耗資源；從實(shí)際情況看，復(fù)雜頁面、不標(biāo)準(zhǔn)頁面、動態(tài)頁面都給可視化埋點(diǎn)增加不可用的風(fēng)險(xiǎn)，一旦遇到就還是只能代碼埋點(diǎn)了。
• 市面上產(chǎn)品有：諸葛IO、神策

3.無埋點(diǎn)/全埋點(diǎn)

無埋點(diǎn)采用“全部采集，按需選取”的形式，通過綁定頁面的各個(gè)控件，當(dāng)事件觸發(fā)時(shí)就會調(diào)用相關(guān)的接口上報(bào)數(shù)據(jù)。并不是說不要埋點(diǎn)，而是SDk利用css選擇器技術(shù)和監(jiān)聽控件的事件觸發(fā)技術(shù)，在應(yīng)用嵌入SDK，SDK會把頁面中所有交互元素的用戶行為數(shù)據(jù)盡可能的采集下來，通過“統(tǒng)計(jì)數(shù)據(jù)篩”，配置待處理的數(shù)據(jù)的特征。

無埋點(diǎn)/全埋點(diǎn)優(yōu)點(diǎn)：可視化展示界面，部署簡單、收集數(shù)據(jù)多，一切操作皆埋點(diǎn)，無需埋點(diǎn)統(tǒng)計(jì)數(shù)據(jù)按需處理

無埋點(diǎn)/全埋點(diǎn)缺點(diǎn)：

1. a)     無埋點(diǎn)只能采集到用戶交互數(shù)據(jù)，且適合標(biāo)準(zhǔn)化的采集（無埋點(diǎn)無法深入到更細(xì)、更深的粒度），自定義屬性的采集需要代碼埋點(diǎn)來輔助（現(xiàn)階段全埋點(diǎn)對于用戶身份信息和行為附帶的屬性信息也幾乎無能為力。）。
2. b)    無埋點(diǎn)具有前端埋點(diǎn)的固有缺陷，如數(shù)據(jù)采集深度較淺、傳輸時(shí)效性較差、數(shù)據(jù)可靠性無法保障等問題。
3. c)      數(shù)據(jù)維度單一（僅點(diǎn)擊、加載、刷新）；影響用戶使用體驗(yàn)——用戶使用過程中容易出現(xiàn)卡頓，嚴(yán)重影響用戶體驗(yàn)；噪點(diǎn)多，數(shù)據(jù)準(zhǔn)確性不高，容易產(chǎn)生干擾；不能自定義埋點(diǎn)收集信息。
4. d)     全埋點(diǎn)的“全”以采集上報(bào)的數(shù)據(jù)量為代價(jià)，隨著數(shù)據(jù)量上升導(dǎo)致客戶端崩潰的概率也會上升。尤其是移動端，更多的數(shù)據(jù)量意味著更多的電量、流量和內(nèi)存消耗。從這個(gè)角度來看，想做到真正的“全”在現(xiàn)階段也是很難。即使全部行為數(shù)據(jù)可以被接收回來，具體分析時(shí)的二次梳理和加工也無法避免，甚至痛苦。因?yàn)闄C(jī)器無法在采集時(shí)能按照我們想要的方式對全部事件進(jìn)行有意義的命名，甚至無法保證采集上來的事件都正好是正確的。于是前期埋點(diǎn)時(shí)節(jié)省下來的人力成本，這個(gè)時(shí)候又都搭進(jìn)去了。
5. l  應(yīng)用場景：

主要應(yīng)用于簡單頁面，比如：短期活動中的落地頁/專題頁中，需要快速衡量點(diǎn)擊分布等效果。

• 產(chǎn)品：Heap Analyitcs、諸葛IO

最理想的埋點(diǎn)方案是根據(jù)根據(jù)不同的業(yè)務(wù)和場景以及行業(yè)特性和自身實(shí)際需求，將埋點(diǎn)通過優(yōu)劣互補(bǔ)方式進(jìn)行組合，比如：

1、代碼埋點(diǎn)+全埋點(diǎn)：在需要對落地頁進(jìn)行整體點(diǎn)擊分析時(shí)，細(xì)節(jié)位置逐一埋點(diǎn)的工作量相對較大，且在頻繁優(yōu)化調(diào)整落地頁時(shí)，更新埋點(diǎn)的工作量更加不容小覷，但復(fù)雜的頁面存在著全埋點(diǎn)不能采集的死角，因此，可將代碼埋點(diǎn)作為輔助，將用戶核心行為進(jìn)行采集，從而實(shí)現(xiàn)精準(zhǔn)的可交叉的用戶行為分析；

2、代碼埋點(diǎn)+服務(wù)端埋點(diǎn)：以電商平臺為例，用戶在支付環(huán)節(jié)，由于中途會跳轉(zhuǎn)到第三方支付平臺，是否支付成功需要通過服務(wù)器中的交易數(shù)據(jù)來驗(yàn)證，此時(shí)可通過代碼埋點(diǎn)和服務(wù)端埋點(diǎn)相結(jié)合的方式，提升數(shù)據(jù)的準(zhǔn)確性；

3、代碼埋點(diǎn)+可視化埋點(diǎn)：因代碼埋點(diǎn)工作量大，可通過核心事件代碼埋點(diǎn)，可視化埋點(diǎn)用于追加和補(bǔ)充的方式采集數(shù)據(jù)。

埋點(diǎn)事件

在記錄埋點(diǎn)信息時(shí)，主要的埋點(diǎn)事件分為點(diǎn)擊事件、曝光事件、頁面事件三類。

1)  點(diǎn)擊事件

用戶在應(yīng)用內(nèi)的每一次點(diǎn)擊行為，都可以記為一次點(diǎn)擊事件。比如按鈕的點(diǎn)擊，區(qū)域的點(diǎn)擊，商品的點(diǎn)擊，每一條新聞的點(diǎn)擊等，都可以成為一個(gè)點(diǎn)擊事件。一般通過點(diǎn)擊事件，可以拿到點(diǎn)擊PV，點(diǎn)擊UV。

2)  曝光事件

曝光事件是為了統(tǒng)計(jì)應(yīng)用內(nèi)的某些局部區(qū)域是否被用戶有效瀏覽。比如推薦區(qū)域，某個(gè)按鈕，首焦等等。

比如一般來說我們在衡量頁面某個(gè)區(qū)域用戶的點(diǎn)擊率的時(shí)候，首先需要搞清楚的就是這個(gè)區(qū)域到底被多少用戶看到了，每被用戶看到一次就是一個(gè)簡單的曝光事件，然后才能計(jì)算點(diǎn)擊率。

做曝光埋點(diǎn)的時(shí)候需要注意兩個(gè)事情：第一，有效曝光的定義要科學(xué)，合理；第二，為了不影響頁面性能以及用戶體驗(yàn)，不能在應(yīng)用內(nèi)的所有區(qū)域都加曝光埋點(diǎn)。

曝光埋點(diǎn)即不發(fā)生點(diǎn)擊行為，內(nèi)容曝光時(shí)上報(bào)的埋點(diǎn)，多用于內(nèi)容流（商品流）的數(shù)據(jù)分析，用來計(jì)算CTR（點(diǎn)擊通過率，點(diǎn)擊次數(shù)/曝光次數(shù)），用戶時(shí)長（曝光時(shí)長）。

下面以某電商App首頁商品流為例做埋點(diǎn)示例：

3）頁面事件

頁面事件通常是指頁面的各種維度信息的統(tǒng)計(jì)。常見的比如頁面瀏覽PV，頁面瀏覽UV。

頁面事件通常通過頁面參數(shù)來傳遞。

頁面事件通常統(tǒng)計(jì)的信息包括以下幾個(gè)部分：

• 瀏覽器信息：瀏覽器版本，瀏覽器語言，瀏覽器編碼，屏幕分辨率等；
• 訪問信息：用戶賬號，當(dāng)前頁面url，上次訪問時(shí)間，訪問時(shí)長，頁面停留時(shí)間等；
• 來源信息：廣告來源，上一頁面url等；
• 物品信息：不同的業(yè)務(wù)，這部分信息區(qū)別很大。

現(xiàn)在App端的數(shù)據(jù)埋點(diǎn)一般采取Key-Value的形式，Key一般表示某個(gè)事件，Value代表相對應(yīng)的值，一個(gè)Key可以對應(yīng)一個(gè)Value或者多個(gè)Value。在埋點(diǎn)過程中，同種屬性的多個(gè)事件要命名成一個(gè)埋點(diǎn)事件ID，并以Key-Value的形式區(qū)分。不同屬性的多個(gè)事件應(yīng)該命名成多個(gè)埋點(diǎn)事件ID，此時(shí)也盡量不用Key-Value的形式埋點(diǎn)。

事件三要素：

• 操作（action），定義一個(gè)操作動作，如點(diǎn)擊（click）、瀏覽（view）
• 屬性，這個(gè)事件相關(guān)的內(nèi)容，比如一個(gè)商品瀏覽事件，屬性包含商品ID、商品標(biāo)題、商品價(jià)格、所屬店鋪等信息。
• 屬性值，則表示該屬性對應(yīng)的值，例如商品標(biāo)題=“日本品牌一次性醫(yī)用口罩…”

埋點(diǎn)流程

• 運(yùn)營：一主要需求方，根據(jù)業(yè)務(wù)場景，提出并明確具體的數(shù)據(jù)分析需求。
• 數(shù)據(jù)產(chǎn)品經(jīng)理：收集業(yè)務(wù)方的需求，將分析需求整理成埋點(diǎn)需求，并組織埋點(diǎn)需求評審、校驗(yàn)埋點(diǎn)數(shù)據(jù)。
• 開發(fā)團(tuán)隊(duì)：確認(rèn)埋點(diǎn)可行性和排期，負(fù)責(zé)埋點(diǎn)開發(fā)、測試和上線。

（1）業(yè)務(wù)需求：確定場景或目標(biāo)

梳理業(yè)務(wù)，確定一個(gè)場景/目標(biāo)。

需求階段：進(jìn)行需求采集和需求分析，保證埋點(diǎn)滿足核心業(yè)務(wù)需求。

• 數(shù)據(jù)需求池：對數(shù)據(jù)需求進(jìn)行整體維護(hù)，記錄需求業(yè)務(wù)場景、需求內(nèi)容、提出者、時(shí)間等
• 產(chǎn)品信息架構(gòu)：梳理產(chǎn)品結(jié)構(gòu)，熟悉產(chǎn)品（梳理產(chǎn)品交互架構(gòu)和頁面設(shè)計(jì)布局）。
• 用戶行為路徑：分析用戶路徑，建立用戶行為流程圖，得到核心業(yè)務(wù)指標(biāo)，定義好該事件的觸發(fā)時(shí)機(jī)

優(yōu)先級評估——KANO模型

KANO模型定義了三個(gè)層次的用戶需求:基本型需求、期望型需求、興奮型需求。

這三種需求根據(jù)績效指標(biāo)分類就是基本因素、績效因素和激勵因素。

（2）埋點(diǎn)設(shè)計(jì)：數(shù)據(jù)采集規(guī)劃，確定關(guān)鍵指標(biāo)

設(shè)計(jì)階段：埋點(diǎn)版本規(guī)劃和埋點(diǎn)設(shè)計(jì)(1，確認(rèn)事件與變量；2，明確事件的觸發(fā)時(shí)機(jī)；3， 規(guī)范命名；4，明確優(yōu)先級)

• 埋點(diǎn)版本規(guī)劃：根據(jù)需求優(yōu)先級，分版本上線，快速迭代；
• 埋點(diǎn)文檔：詳細(xì)描寫版本記錄、數(shù)據(jù)流程圖、埋點(diǎn)事件等內(nèi)容；
• 埋點(diǎn)的基本信息：業(yè)務(wù)、等級、應(yīng)用、使用說明、打點(diǎn)時(shí)機(jī)、測試說明、需求文檔等；
• 埋點(diǎn)對應(yīng)角色：產(chǎn)品經(jīng)理/業(yè)務(wù)部、數(shù)據(jù)產(chǎn)品經(jīng)理、開發(fā)團(tuán)隊(duì)；
• 埋點(diǎn)對應(yīng)字段和字段取值。
• 埋點(diǎn)位置。即需要添加埋點(diǎn)相關(guān)信息的位置，比如頁面上的按鈕，搜索結(jié)果的每一個(gè)卡片，推薦位上的每一個(gè)卡片，每一個(gè)曝光區(qū)域等等；
• 埋點(diǎn)標(biāo)識。每一個(gè)位置上面需要設(shè)置一個(gè)埋點(diǎn)的標(biāo)識來代表這個(gè)點(diǎn)擊位；
• 埋點(diǎn)參數(shù)。是指你想要在用戶到達(dá)這個(gè)位置or頁面，或者點(diǎn)擊這個(gè)位置的時(shí)候，除了正常的流量數(shù)據(jù)（pv，uv），還想看到那些數(shù)據(jù)；
• 頁面名稱。是指當(dāng)前埋點(diǎn)所屬的頁面，有這個(gè)才能定位到當(dāng)前埋點(diǎn)是屬于哪個(gè)頁面的數(shù)據(jù)；
• 應(yīng)用標(biāo)識。是指當(dāng)前應(yīng)用的唯一標(biāo)識，有的也叫站點(diǎn)。用來進(jìn)行數(shù)據(jù)歸屬劃分。

產(chǎn)品的埋點(diǎn)方案通常由產(chǎn)品經(jīng)理來進(jìn)行梳理，梳理完畢之后需要協(xié)同數(shù)據(jù)的同事進(jìn)行確認(rèn)，核對，保證方案的可行性。

（3）評審開發(fā)：埋點(diǎn)工具植入

采集工具通常為埋點(diǎn)代碼，通常有三種：js文件，SDK，http請求。

埋點(diǎn)代碼等同于一個(gè)監(jiān)控系統(tǒng)的中樞，可以說是整個(gè)產(chǎn)品埋點(diǎn)的引擎，控制著埋點(diǎn)的數(shù)據(jù)的采集上報(bào)，只有它才能夠在用戶與應(yīng)用發(fā)生交互的時(shí)候上報(bào)點(diǎn)擊位信息，曝光信息，頁面信息等等。

這塊通常是研發(fā)來做，產(chǎn)品經(jīng)理參與。

（4）測試驗(yàn)收：埋點(diǎn)測試與數(shù)據(jù)評估

埋點(diǎn)測試是指完成埋點(diǎn)工作后，需要對埋點(diǎn)的有效性進(jìn)行測試。這塊通常由測試來做，產(chǎn)品經(jīng)理參與。

埋點(diǎn)12字訣：引沒引，埋沒埋，報(bào)沒報(bào)，落沒落。

• 引：是指埋點(diǎn)代碼是否引入，引入的代碼是否與當(dāng)前產(chǎn)品形態(tài)吻合；
• 埋：是指是否產(chǎn)品的所有模塊都添加了埋點(diǎn)；
• 報(bào)：是指埋點(diǎn)之后數(shù)據(jù)是否能夠正常上報(bào)；
• 落：是指上報(bào)的數(shù)據(jù)最后是否落到了對應(yīng)的表里面。

(5) 上線應(yīng)用

埋點(diǎn)采集的缺點(diǎn)：依賴經(jīng)驗(yàn)導(dǎo)向；溝通成本高；大量時(shí)間數(shù)據(jù)清洗；數(shù)據(jù)漏采錯采。