編輯導語：埋點管理系統(tǒng)的搭建在一定程度上解決了埋點設計管理混亂的問題，方便數(shù)據(jù)查詢，提高了團隊的溝通效率，進而推動整體業(yè)務項目的高效進行。本篇文章里，作者就如何設計一個高效便利的埋點管理系統(tǒng)做了總結(jié)，一起來看一下。

一、為什么要做埋點管理系統(tǒng)？

如果你是一名數(shù)據(jù)分析師，是否有過這樣的經(jīng)歷：

當你需要查詢APP產(chǎn)品埋點數(shù)據(jù)的時候，你不得不經(jīng)常找數(shù)據(jù)產(chǎn)品經(jīng)理去確認是否已有埋點，埋了哪些字段，是否已有上報數(shù)據(jù)等。常常這些埋點事件元信息分散在多個產(chǎn)品經(jīng)理手上，信息散亂，分析師使用埋點數(shù)據(jù)之前溝通成本極高，影響數(shù)據(jù)使用的效率……

不僅如此，如果遇到埋點數(shù)據(jù)異常，追溯埋點歷史問題過程也是非常的漫長，需要數(shù)據(jù)產(chǎn)品經(jīng)理去跟業(yè)務產(chǎn)品經(jīng)理確認埋點需求的版本，然后數(shù)據(jù)產(chǎn)品經(jīng)理確認埋點設計需求的批次，然后給到開發(fā)，開發(fā)同事再去查找問題……

以上種種問題一直是困擾著我們埋點工作的痛點。埋點場景的痛點我總結(jié)為以下5點：

1. 埋點需求及埋點設計文檔管理散亂，產(chǎn)品、開發(fā)、測試協(xié)同溝通效率低下，嚴重影響工作效率。
2. 埋點事件元信息管理散亂，常是分布在多個產(chǎn)品經(jīng)理手上，分析師使用埋點數(shù)據(jù)時需要查詢埋點需求及埋點事件的元信息這個過程鏈路長，溝通成本非常高，埋點元信息使用查詢極其不便利。
3. 若出現(xiàn)埋點數(shù)據(jù)異常問題，若開發(fā)同事需要追溯埋點歷史數(shù)據(jù)，則更是需要有當時的埋點需求批次和埋點設計文檔作為輔助，元信息管理散亂，極其影響debug的效率。
4. 非可視化測試，驗收埋點難度太大。每次都要跑去數(shù)據(jù)庫了查詢，對于沒有寫SQL基礎的業(yè)務經(jīng)理來說，驗收埋點數(shù)據(jù)的效率就會比埃及地下。
5. 數(shù)據(jù)校驗流程混亂，版本管理難度大，開發(fā)同學常常要自己開發(fā)一個后臺管理功能來管理埋點發(fā)布或下線的版本。

二、埋點管理系統(tǒng)是什么？

埋點管理系統(tǒng)本質(zhì)是解決數(shù)據(jù)采集及數(shù)據(jù)使用場景問題的業(yè)務系統(tǒng)，業(yè)務方則是數(shù)據(jù)產(chǎn)品、數(shù)據(jù)開發(fā)工程師、數(shù)據(jù)分析師等數(shù)據(jù)團隊的人員。

比較常見的例子，數(shù)據(jù)分析師在業(yè)務處于快速發(fā)展的階段大概率只讓你取數(shù)，未必讓你真正去做業(yè)務數(shù)據(jù)分析的活兒。

等數(shù)據(jù)取數(shù)這類需求達到一定的數(shù)量，老板才會想著去開發(fā)可視化類的取數(shù)工具，幫助數(shù)據(jù)分析師從大量的數(shù)據(jù)查詢和報表開發(fā)的工作解脫出來，去做更加有價值的業(yè)務專題分析的工作。

回到我們的主題，埋點管理系統(tǒng)也常常會等到埋點需求非常多，從埋點需求產(chǎn)出端、到埋點需求使用方都感覺到這個合作流程已經(jīng)影響了整體的工作效率的時候，埋點管理系統(tǒng)才會被老板想到，這個工具是否可以替代原本的零散和低效的協(xié)同模式來提高大家的工作效率。所以，埋點管理系統(tǒng)本身是一個提升數(shù)據(jù)同事工作效率的工具。

埋點管理系統(tǒng)能解決問題主要有以下5點：

1. 解決了埋點需求及埋點設計管理散亂，產(chǎn)品團隊、開發(fā)團及測試團隊，數(shù)據(jù)應用團隊的協(xié)同溝通效率低下問題。
2. 解決了數(shù)據(jù)應用場景中需要高頻及便利地查詢查詢埋點事件元信息問題。
3. 解決了開發(fā)同事在遇到埋點數(shù)據(jù)異常需要追溯歷史埋點的歷史文檔尋找的版本管理問題。
4. 通過可視化抓包，解決了埋點數(shù)據(jù)驗收的重度依賴數(shù)據(jù)庫查詢的相對低效的方法。
5. 通過可視化對比校驗和發(fā)布／下線能力，解決了開發(fā)同事單獨管理埋點需求的版本及發(fā)布場景問題，并有明確的數(shù)據(jù)校驗流程，從而間接提升數(shù)據(jù)質(zhì)量的管理。

三、如何設計埋點管理系統(tǒng)？

1. 業(yè)務流程確認

說了埋點管理系統(tǒng)能解決的問題，接下來聊聊埋點管理系統(tǒng)長啥樣，如何才能設計出解決我們以上問題的埋點管理系統(tǒng)。在此之前，我們先了解埋點場景的業(yè)務流程：

圖一：埋點業(yè)務流程圖1

2. 系統(tǒng)功能確認

業(yè)務流程確認了，我們就在對應的業(yè)務流程上增加產(chǎn)品功能模塊去承載每個業(yè)務流程節(jié)點的需求，如下圖：

圖二：埋點業(yè)務流程圖2

3. 事件模型確認

在了解系統(tǒng)功能設計之前，我們先了解一下埋點管理系統(tǒng)里涉及到的全部管理對象及對象之間的關系。

埋點管理系統(tǒng)一共涉及到四個對象，分別是應用、埋點需求批次、埋點事件、事件屬性。他們之間的關系是自上而下的邏輯關系。

圖三：埋點事件模型圖

4. 系統(tǒng)功能架構設計

通過埋點業(yè)務流程及事件模型的梳理，我們得出了多個系統(tǒng)功能模塊，拆解出來的埋點系統(tǒng)功能結(jié)構如下圖：

圖四：埋點管理系統(tǒng)功能結(jié)構圖

下面我們將對系統(tǒng)的每個功能模塊展開闡述：

1）應用管理

應用管理功能主要是承載業(yè)務團隊新增一個APP/小程序／H5／web端等業(yè)務產(chǎn)品對象，我們需要在系統(tǒng)里先創(chuàng)建一個新的埋點產(chǎn)品對象，然后才有后續(xù)增加的埋點需求及事件元信息等。

這個模塊包含應用新增、刪除、編輯等基礎功能。產(chǎn)品團隊需要負責的埋點產(chǎn)品都可以放在這里統(tǒng)一管理。

圖五：應用管理列表圖

2）埋點需求管理

埋點需求管理功能主要承載集中管理業(yè)務團隊提過來給產(chǎn)品團隊的埋點需求文檔，這里可以創(chuàng)建需求、編輯需求、下鉆需求、下線需求等。

在這里，需求按照批次來進行管理，每一個埋點需求都有一個唯一的批次號，掛載到對應的應用及版本上，并且點擊單個埋點需求批次號，可以直接下鉆到該埋點需求下的全部事件列表。

圖六：埋點需求管理列表圖

3）事件管理

管理功能則承載來所有埋點需求拆解出來需要開發(fā)的埋點事件元信息，這里可以創(chuàng)建事件、編輯事件、下鉆事件、搜索事件、下線事件等。

事件是埋點拆解的最小對象單元，在這里每個事件都要掛載在對應的埋點需求批次上，系統(tǒng)里沒有獨立自自己游蕩的事件。這樣所有的應用、埋點需求批次和事件都有了映射關系。當需要使用埋點數(shù)據(jù)時，先來埋點管理系統(tǒng)查找埋點需求批次，這種清晰的映射關系在查詢埋點元信息時提供了高效的途徑。

圖七：事件管理列表圖

4）屬性管理

屬性管理功能模塊承載的是常用的有共性的屬性。一個個獨立的屬性常用屬性，比如用用戶ID、用戶客戶端系統(tǒng)、在線時長等屬性，可以在屬性管理這里完成注冊。

在用戶新建事件時，可以直接引用已注冊完成的屬性綁定到事件上，減少用戶填寫事件屬性信息時的大量重復填寫工作。

5）埋點校驗

走到這里，埋點已經(jīng)開發(fā)完成了，到了測試、驗收、上線的環(huán)節(jié)。這里的埋點校驗包含兩部分，可視化抓包測試及開發(fā)環(huán)境和測試環(huán)境的信息對比。完成這兩個環(huán)節(jié)之后，開發(fā)同事才可以把埋點發(fā)布到正式環(huán)境。

可視化抓包測試：

可視化抓包功能頁主要提供給產(chǎn)品經(jīng)理和測試同學可以現(xiàn)場抽樣測試事件數(shù)據(jù)，檢查上報的屬性是否已經(jīng)完整，屬性值是否準確。

圖八：埋點數(shù)據(jù)實時抓包圖

對比與同步：

在線對比和發(fā)布功能頁則是承載了開發(fā)童鞋對比生產(chǎn)環(huán)境和測試環(huán)境埋點元信息的差異之處，幫助快速確認已經(jīng)進行了變更處理之處。及支持開發(fā)童鞋在線可視化發(fā)布埋點事件，便捷高效。

圖九：埋點需求對比及同步功能圖

6）埋點監(jiān)控

埋點監(jiān)控功能承載的則是埋點管理系統(tǒng)全部埋點事件的及任務運行的結(jié)果監(jiān)控。包括展示全部埋點應用統(tǒng)計數(shù)、埋點需求統(tǒng)計數(shù)、事件統(tǒng)計數(shù)、有效在線事件統(tǒng)計數(shù)、異常的埋點事件數(shù)、未處理的埋點需求／事件數(shù)等，是統(tǒng)計和展示整個系統(tǒng)管理對象及對象運行情況的監(jiān)控功能模塊。

方便參與埋點工作的同事了解整體產(chǎn)品的埋點任務運行情況，和及時發(fā)現(xiàn)埋點上報數(shù)據(jù)的異常情況。也是埋點管理系統(tǒng)的一個必不可少的模塊。

四、寫在最后

以上從埋點管理系統(tǒng)的定位和解決的痛點問題，及系統(tǒng)的建設過程給大家闡述一遍，希望能幫助大家在對埋點管理系統(tǒng)及建設有個相對完整的認識。

最后，總結(jié)幾點系統(tǒng)建設過程中的思考分享給大家：

1）埋點管理系統(tǒng)是一個服務于數(shù)據(jù)團隊但涉及合作團隊較多的系統(tǒng)。在不同公司，可能埋點業(yè)務流程不一樣，而我這里分享的是我經(jīng)歷過的埋點工作場景中協(xié)同效率比較高效的埋點業(yè)務流程，希望能提供參考借鑒。

2）埋點需求批次跟應用版本號不完全保持一致，不要當作是形同對象而相互替代。因為很可能在后期版本增加早期發(fā)版的產(chǎn)品功能的埋點。如果當作同一個問題處理，將導致埋點需求管理能力可擴展性太弱，很快整個系統(tǒng)都陷入了管理瓶頸。

3）埋點管理系統(tǒng)真實可以提升業(yè)務、產(chǎn)品、開發(fā)、數(shù)據(jù)分析多個團隊的協(xié)同效率，用起來非常爽，能早建設盡早建設。

此處完結(jié)。

本文由 @九果女孩Maky 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自Pexels，基于 CC0 協(xié)議