本文主要圍繞埋點(diǎn)建設(shè)方法和埋點(diǎn)管理平臺(tái)建設(shè)，介紹了埋點(diǎn)構(gòu)建的“3S方法”和“4層次”，以及進(jìn)行埋點(diǎn)場(chǎng)景化梳理和結(jié)構(gòu)化劃分的方法、規(guī)范化的埋點(diǎn)數(shù)據(jù)采集、定義清晰的埋點(diǎn)命名規(guī)范。

之前寫了埋點(diǎn)的系列文章《01初識(shí)埋點(diǎn)》《02業(yè)務(wù)需求分析》《03埋點(diǎn)文檔設(shè)計(jì)》等，本篇主要介紹埋點(diǎn)建設(shè)方法和埋點(diǎn)管理平臺(tái)建設(shè)，補(bǔ)足04篇埋點(diǎn)管理平臺(tái)和06篇埋點(diǎn)質(zhì)量的內(nèi)容。

一、概述

隨著企業(yè)中的各應(yīng)用中添加的埋點(diǎn)逐步增多，會(huì)有成千上萬(wàn)個(gè)埋點(diǎn)事件，并且隨著埋點(diǎn)多個(gè)版本的迭代，線上文檔維護(hù)較為混亂。

對(duì)于埋點(diǎn)使用者而言，埋點(diǎn)取數(shù)邏輯不清晰，埋點(diǎn)準(zhǔn)確率存疑；埋點(diǎn)命名和頁(yè)面結(jié)構(gòu)管理混亂，找對(duì)應(yīng)埋點(diǎn)耗時(shí)耗力；埋點(diǎn)重復(fù)建設(shè)，不知道用哪個(gè)埋點(diǎn)。

對(duì)于埋點(diǎn)開發(fā)者而言，埋點(diǎn)需求較多，開發(fā)壓力大；建設(shè)了大規(guī)模的埋點(diǎn)，服務(wù)器存儲(chǔ)計(jì)算成本高，但不知道哪些埋點(diǎn)可以下線。

那有什么系統(tǒng)化的解決方案，規(guī)避這些問(wèn)題呢？

基于“3S方法+4層次”的建設(shè)方案，采用經(jīng)驗(yàn)方法與產(chǎn)品服務(wù)建設(shè)并行的方式，提升埋點(diǎn)質(zhì)量和埋點(diǎn)使用效率。（如下圖所示）

3S方法：包含“結(jié)構(gòu)化、場(chǎng)景化、規(guī)范化”的建設(shè)方法；

4層次：貫穿數(shù)據(jù)的“采-建-管-用”，包含數(shù)據(jù)采集層、存儲(chǔ)計(jì)算層、產(chǎn)品服務(wù)層、場(chǎng)景應(yīng)用層。

• 數(shù)據(jù)采集層：使用代碼埋點(diǎn)、可視化埋點(diǎn)、全埋點(diǎn)多種方式采集數(shù)據(jù)；
• 數(shù)據(jù)存儲(chǔ)計(jì)算層：劃分ods-dwd-dws-app數(shù)倉(cāng)分層，規(guī)范數(shù)據(jù)存儲(chǔ)與計(jì)算；
• 產(chǎn)品服務(wù)層：建設(shè)應(yīng)用接入、事件/屬性接入、模塊/頁(yè)面/事件/屬性管理、埋點(diǎn)測(cè)試能力；
• 場(chǎng)景應(yīng)用層：可應(yīng)用至用戶行為分析、人群圈選、自動(dòng)化營(yíng)銷、廣告監(jiān)測(cè)等場(chǎng)景。

二、“3S”方法

1. 場(chǎng)景化

埋點(diǎn)場(chǎng)景化建設(shè)，主要是指從埋點(diǎn)的實(shí)際使用場(chǎng)景切入，拆分相關(guān)運(yùn)營(yíng)模型，從產(chǎn)品運(yùn)營(yíng)策略倒推需要建設(shè)哪些埋點(diǎn)數(shù)據(jù)，最常用到的分析模型是OSM模型、UJM模型。

OSM：即目標(biāo)、策略、度量，在什么業(yè)務(wù)目標(biāo)下，需要采取哪些策略，需要統(tǒng)計(jì)哪些指標(biāo)，需要采集哪些埋點(diǎn)數(shù)據(jù)。

做到这三点挑战，产品经理只会不断升值

好的产品经理是很稀缺的，懂用户、懂商业、懂数据的产品经理走出互联网，依然是抢手货。相反，如果只做简单传话、低效执行、浅层思考的产品经理，恐怕走不过未来3-5年的洪流。

查看详情 >

UJM：是一種常用的用戶行為路徑分析方法，分析用戶行為旅程上有哪些觸點(diǎn)、需要統(tǒng)計(jì)的數(shù)據(jù)。例如之前在《02業(yè)務(wù)需求分析》埋點(diǎn)需求梳理文章中寫到的，通過(guò)梳理用戶訪問(wèn)首頁(yè)、訪問(wèn)詳情頁(yè)、訂單頁(yè)、支付頁(yè)等頁(yè)面核心流程，再確定指標(biāo)。

2. 結(jié)構(gòu)化

埋點(diǎn)結(jié)構(gòu)化建設(shè)，旨在解決埋點(diǎn)混亂、重復(fù)建設(shè)、難以查找的問(wèn)題。通過(guò)建設(shè)清晰的分類結(jié)構(gòu)，助力數(shù)據(jù)方有序建設(shè)埋點(diǎn)、業(yè)務(wù)方高效使用埋點(diǎn)數(shù)據(jù)。埋點(diǎn)體系的結(jié)構(gòu)化建設(shè)可包含兩種方式：按應(yīng)用劃分、按頁(yè)面結(jié)構(gòu)+業(yè)務(wù)劃分

（1）按應(yīng)用劃分

以易到用車這類小型企業(yè)為例，其存在司機(jī)端app、乘客端app、小程序、web、以及內(nèi)部的各后臺(tái)系統(tǒng)等不同應(yīng)用。每個(gè)應(yīng)用需要埋點(diǎn)，不同應(yīng)用背后對(duì)應(yīng)著不同的運(yùn)營(yíng)團(tuán)隊(duì)，可先按應(yīng)用劃分，以更好地應(yīng)對(duì)應(yīng)用增減功能時(shí)，及時(shí)上下線對(duì)應(yīng)埋點(diǎn)。

（2）按“頁(yè)面結(jié)構(gòu)+業(yè)務(wù)”劃分

以易到app應(yīng)用為例，如下圖，按頁(yè)面結(jié)構(gòu)劃分可拆解為用車、接送機(jī)、我的等頁(yè)面，并且拆分2-3級(jí)子頁(yè)面。這里要注意的是，按頁(yè)面劃分也不建議劃分太深的層次結(jié)構(gòu)，不然查找或管理對(duì)應(yīng)埋點(diǎn)多為不便。

因而，對(duì)于存在業(yè)務(wù)線較多的企業(yè)來(lái)說(shuō)，在頁(yè)面結(jié)構(gòu)劃分的基礎(chǔ)上，可增加按業(yè)務(wù)劃分。例如，以電商業(yè)務(wù)為一級(jí)，對(duì)應(yīng)的電商類模塊如輪播、商品列表頁(yè)等均歸于該模塊下，方便對(duì)應(yīng)業(yè)務(wù)線的產(chǎn)品運(yùn)營(yíng)同學(xué)使用。

3. 規(guī)范化

（1）埋點(diǎn)字段采集規(guī)范

埋點(diǎn)規(guī)范化建設(shè)，基于“4W1H”的方法全面采集埋點(diǎn)字段，保障埋點(diǎn)數(shù)據(jù)的完整性。

who：誰(shuí)進(jìn)行了操作？用戶的唯一標(biāo)識(shí)，如IMEI、cookieid等

when：什么時(shí)候操作的？如timestamp時(shí)間戳

where：在哪些頁(yè)面操作？如cityid

how：用戶如何操作？如click點(diǎn)擊、view瀏覽

what：有哪些附加信息？如頁(yè)面類型、頁(yè)面標(biāo)題、價(jià)格

例如“路飛在上午10點(diǎn)，瀏覽了價(jià)格為100元的牛肉干商品詳情頁(yè)”，輸出標(biāo)準(zhǔn)需求文檔規(guī)范，詳情見《03埋點(diǎn)文檔設(shè)計(jì)》。

（2）埋點(diǎn)命名規(guī)范

埋點(diǎn)命名=業(yè)務(wù)_頁(yè)面_位置_埋點(diǎn)類型，例如“car_order_paybutton_click”。通過(guò)規(guī)范的命名，可提升業(yè)務(wù)的可讀性，方便理解。

三、4層次

依照上述介紹的場(chǎng)景化、結(jié)構(gòu)化、規(guī)范化的方法，建設(shè)埋點(diǎn)體系架構(gòu)，涵蓋4個(gè)層次，包括數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)層、埋點(diǎn)平臺(tái)層、應(yīng)用場(chǎng)景層。

1. 數(shù)據(jù)采集層

數(shù)據(jù)采集是所有后續(xù)數(shù)據(jù)服務(wù)的基礎(chǔ)，采集數(shù)據(jù)需要全面且細(xì)致。數(shù)據(jù)采集的流程是，用戶觸發(fā)上報(bào)行為日志，由flume采集到HDFS形成原始日志。

flume是當(dāng)前常見的數(shù)據(jù)采集工具。flume作為Hadoop的組件，是一個(gè)分布式、高可靠、高可用的海量日志采集、聚合、傳輸?shù)南到y(tǒng)。可理解為撈魚的時(shí)候，用漁網(wǎng)工具捕魚，然后將魚放進(jìn)簍子里，這里的漁網(wǎng)就是flume工具。

flume中傳輸?shù)膬?nèi)容定義為事件（event），flume提供SDK，可支持用戶定制開發(fā)，因而一般埋點(diǎn)平臺(tái)也會(huì)提供SDK包，供各個(gè)業(yè)務(wù)線使用。

SDK的能力，例如下所示，一般包含埋點(diǎn)方式以及采集的一些公共屬性。埋點(diǎn)方式包含自定義代碼埋點(diǎn)（包含前端和后端埋點(diǎn)）、全埋點(diǎn)、可視化埋點(diǎn)，其適用場(chǎng)景及區(qū)別見《01初識(shí)埋點(diǎn)》。

2. 存儲(chǔ)計(jì)算層

數(shù)據(jù)存儲(chǔ)計(jì)算層：劃分ods-dwd-dws-app數(shù)倉(cāng)分層，規(guī)范數(shù)據(jù)存儲(chǔ)與計(jì)算。

ODS層原始日志，經(jīng)過(guò)如異常值過(guò)濾、去重等ETL處理規(guī)則，形成用戶行為明細(xì)數(shù)據(jù)到DWD；DWD層行為明細(xì)數(shù)據(jù)經(jīng)過(guò)輕度匯總，得到用戶行為寬表到DWS；DWS輕度匯總用戶寬表，按應(yīng)用主題劃分，加工成不同的指標(biāo)到APP層，供各產(chǎn)品/分析場(chǎng)景使用。

3. 埋點(diǎn)平臺(tái)層

埋點(diǎn)系統(tǒng)層，圍繞“增-測(cè)-看-用-下”，建設(shè)應(yīng)用接入、事件/屬性接入、埋點(diǎn)測(cè)試、模塊/頁(yè)面/事件/屬性查看、編輯、下線能力。

（1）埋點(diǎn)生產(chǎn)

埋點(diǎn)生產(chǎn)包含數(shù)據(jù)接入、新增頁(yè)面、新增事件/屬性、埋點(diǎn)開發(fā)、埋點(diǎn)測(cè)試五個(gè)環(huán)節(jié)。

①數(shù)據(jù)接入

埋點(diǎn)平臺(tái)側(cè)為各業(yè)務(wù)提供不同端的埋點(diǎn)SDK，例如web、iOS、Android等，業(yè)務(wù)側(cè)的研發(fā)可按規(guī)范接入對(duì)應(yīng)埋點(diǎn)。

當(dāng)企業(yè)所需埋點(diǎn)的應(yīng)用/系統(tǒng)較多時(shí)，為了更便捷地管理各個(gè)應(yīng)用的埋點(diǎn)，需要給應(yīng)用賦予應(yīng)用ID和key標(biāo)識(shí)。研發(fā)安裝對(duì)應(yīng)埋點(diǎn)SDK后，在代碼中加入應(yīng)用ID進(jìn)行標(biāo)識(shí)。

②新增頁(yè)面

由于埋點(diǎn)通常會(huì)涉及較多頁(yè)面，常有重復(fù)進(jìn)行埋點(diǎn)，或是找不到對(duì)應(yīng)頁(yè)面上埋點(diǎn)的問(wèn)題。因而需要做好頁(yè)面結(jié)構(gòu)管理，劃分并管理頁(yè)面層級(jí)結(jié)構(gòu)，填寫頁(yè)面名稱、父級(jí)頁(yè)面、頁(yè)面鏈接等信息，進(jìn)行頁(yè)面管理。

該模塊要注意的是，劃分好權(quán)限管控，若所有人均可新建頁(yè)面，頁(yè)面建設(shè)會(huì)較為混亂，缺乏清晰的結(jié)構(gòu)，后續(xù)也不能及時(shí)更新頁(yè)面。劃分業(yè)務(wù)管理員和普通用戶的角色，由業(yè)務(wù)管理員來(lái)添加管理對(duì)應(yīng)頁(yè)面，普通用戶進(jìn)行查看。

③新增事件/屬性

線下Excel維護(hù)了較多的不同頁(yè)面下、不同版本的埋點(diǎn)事件，容易混亂。因而需要再系統(tǒng)上添加對(duì)應(yīng)時(shí)間和屬性數(shù)據(jù)，進(jìn)行統(tǒng)一管理。新建事件時(shí)需要添加三類信息：

一是事件標(biāo)識(shí)信息，進(jìn)行事件的標(biāo)識(shí)及含義維護(hù)，該模塊跟埋點(diǎn)需求文檔的字段對(duì)應(yīng)。主要包含事件英文名、中文名、事件類型（如瀏覽、曝光、點(diǎn)擊）、觸發(fā)時(shí)機(jī)、事件所在的頁(yè)面、事件截圖等；

二是事件分類信息，方便進(jìn)行事件的分類查詢，特別是業(yè)務(wù)比較多的企業(yè)。包含事件所屬業(yè)務(wù)（如出行、金融、電商）、端（如app、web、小程序）；

三是屬性信息，添加事件對(duì)應(yīng)的屬性。

（2）埋點(diǎn)測(cè)試

產(chǎn)品/運(yùn)營(yíng)在平臺(tái)中錄入對(duì)應(yīng)埋點(diǎn)事件后，研發(fā)同學(xué)按需進(jìn)行開發(fā)，開發(fā)完成后，進(jìn)行測(cè)試驗(yàn)收。埋點(diǎn)人工測(cè)試主要根據(jù)上報(bào)日志進(jìn)行數(shù)據(jù)校驗(yàn)。在界面上填寫設(shè)備ID和事件名，并查看測(cè)試報(bào)告，方便查看數(shù)據(jù)。

（3）埋點(diǎn)地圖

不同端、不同業(yè)務(wù)線的埋點(diǎn)建設(shè)的比較多的情況下，業(yè)務(wù)如何快速查找到所需的埋點(diǎn)數(shù)據(jù)。埋點(diǎn)數(shù)據(jù)地圖主要是運(yùn)用分類思維，通過(guò)各種篩選組合，助力業(yè)務(wù)快速查詢埋點(diǎn)事件數(shù)據(jù)。

篩選項(xiàng)的構(gòu)建和事件元信息的查看，一是基于前置的新增埋點(diǎn)事件所填寫的數(shù)據(jù)，二是統(tǒng)計(jì)埋點(diǎn)相關(guān)PV、UV數(shù)據(jù)，方便用戶了解事件的命中量，同時(shí)可操作對(duì)一些無(wú)用埋點(diǎn)事件進(jìn)行下線處理，降低存儲(chǔ)成本。

從功能層面來(lái)看，埋點(diǎn)平臺(tái)功能的構(gòu)建比較簡(jiǎn)單，復(fù)雜度較低，做好埋點(diǎn)事件/屬性/頁(yè)面的增刪改查，加埋點(diǎn)測(cè)試，再增減一些簡(jiǎn)易的分析，加些權(quán)限管控，就滿足了基本的管理需求。

4. 應(yīng)用場(chǎng)景層

場(chǎng)景應(yīng)用層：可應(yīng)用至用戶行為分析、人群圈選、自動(dòng)化營(yíng)銷、廣告監(jiān)測(cè)、推薦算法等各個(gè)需要數(shù)據(jù)的場(chǎng)景。本篇暫不展開，后續(xù)更新用戶行為分析篇。

四、小結(jié)

本篇主要介紹了埋點(diǎn)構(gòu)建的“3S方法”和“4層次”。

運(yùn)用OSM、OJM方法進(jìn)行埋點(diǎn)場(chǎng)景化梳理；按應(yīng)用、頁(yè)面結(jié)構(gòu)、業(yè)務(wù)進(jìn)行埋點(diǎn)結(jié)構(gòu)化劃分；基于4W1H規(guī)范化埋點(diǎn)數(shù)據(jù)采集，以及定義清晰的埋點(diǎn)命名規(guī)范。

貫穿埋點(diǎn)數(shù)據(jù)的“采-建-管-用”，基于flume工具進(jìn)行埋點(diǎn)數(shù)據(jù)采集；基于數(shù)倉(cāng)分層模型，進(jìn)行數(shù)據(jù)存儲(chǔ)與計(jì)算；建設(shè)事件/屬性/頁(yè)面的增刪改查能力，以及埋點(diǎn)測(cè)試等能力；推動(dòng)埋點(diǎn)數(shù)據(jù)在多個(gè)場(chǎng)景應(yīng)用。