如何設計出一個實用高效的埋點管理系統(tǒng)?
編輯導語:埋點管理系統(tǒng)的搭建在一定程度上解決了埋點設計管理混亂的問題,方便數(shù)據(jù)查詢,提高了團隊的溝通效率,進而推動整體業(yè)務項目的高效進行。本篇文章里,作者就如何設計一個高效便利的埋點管理系統(tǒng)做了總結(jié),一起來看一下。
一、為什么要做埋點管理系統(tǒng)?
如果你是一名數(shù)據(jù)分析師,是否有過這樣的經(jīng)歷:
當你需要查詢APP產(chǎn)品埋點數(shù)據(jù)的時候,你不得不經(jīng)常找數(shù)據(jù)產(chǎn)品經(jīng)理去確認是否已有埋點,埋了哪些字段,是否已有上報數(shù)據(jù)等。常常這些埋點事件元信息分散在多個產(chǎn)品經(jīng)理手上,信息散亂,分析師使用埋點數(shù)據(jù)之前溝通成本極高,影響數(shù)據(jù)使用的效率……
不僅如此,如果遇到埋點數(shù)據(jù)異常,追溯埋點歷史問題過程也是非常的漫長,需要數(shù)據(jù)產(chǎn)品經(jīng)理去跟業(yè)務產(chǎn)品經(jīng)理確認埋點需求的版本,然后數(shù)據(jù)產(chǎn)品經(jīng)理確認埋點設計需求的批次,然后給到開發(fā),開發(fā)同事再去查找問題……
以上種種問題一直是困擾著我們埋點工作的痛點。埋點場景的痛點我總結(jié)為以下5點:
- 埋點需求及埋點設計文檔管理散亂,產(chǎn)品、開發(fā)、測試協(xié)同溝通效率低下,嚴重影響工作效率。
- 埋點事件元信息管理散亂,常是分布在多個產(chǎn)品經(jīng)理手上,分析師使用埋點數(shù)據(jù)時需要查詢埋點需求及埋點事件的元信息這個過程鏈路長,溝通成本非常高,埋點元信息使用查詢極其不便利。
- 若出現(xiàn)埋點數(shù)據(jù)異常問題,若開發(fā)同事需要追溯埋點歷史數(shù)據(jù),則更是需要有當時的埋點需求批次和埋點設計文檔作為輔助,元信息管理散亂,極其影響debug的效率。
- 非可視化測試,驗收埋點難度太大。每次都要跑去數(shù)據(jù)庫了查詢,對于沒有寫SQL基礎的業(yè)務經(jīng)理來說,驗收埋點數(shù)據(jù)的效率就會比埃及地下。
- 數(shù)據(jù)校驗流程混亂,版本管理難度大,開發(fā)同學常常要自己開發(fā)一個后臺管理功能來管理埋點發(fā)布或下線的版本。
二、埋點管理系統(tǒng)是什么?
埋點管理系統(tǒng)本質(zhì)是解決數(shù)據(jù)采集及數(shù)據(jù)使用場景問題的業(yè)務系統(tǒng),業(yè)務方則是數(shù)據(jù)產(chǎn)品、數(shù)據(jù)開發(fā)工程師、數(shù)據(jù)分析師等數(shù)據(jù)團隊的人員。
比較常見的例子,數(shù)據(jù)分析師在業(yè)務處于快速發(fā)展的階段大概率只讓你取數(shù),未必讓你真正去做業(yè)務數(shù)據(jù)分析的活兒。
等數(shù)據(jù)取數(shù)這類需求達到一定的數(shù)量,老板才會想著去開發(fā)可視化類的取數(shù)工具,幫助數(shù)據(jù)分析師從大量的數(shù)據(jù)查詢和報表開發(fā)的工作解脫出來,去做更加有價值的業(yè)務專題分析的工作。
回到我們的主題,埋點管理系統(tǒng)也常常會等到埋點需求非常多,從埋點需求產(chǎn)出端、到埋點需求使用方都感覺到這個合作流程已經(jīng)影響了整體的工作效率的時候,埋點管理系統(tǒng)才會被老板想到,這個工具是否可以替代原本的零散和低效的協(xié)同模式來提高大家的工作效率。所以,埋點管理系統(tǒng)本身是一個提升數(shù)據(jù)同事工作效率的工具。
埋點管理系統(tǒng)能解決問題主要有以下5點:
- 解決了埋點需求及埋點設計管理散亂,產(chǎn)品團隊、開發(fā)團及測試團隊,數(shù)據(jù)應用團隊的協(xié)同溝通效率低下問題。
- 解決了數(shù)據(jù)應用場景中需要高頻及便利地查詢查詢埋點事件元信息問題。
- 解決了開發(fā)同事在遇到埋點數(shù)據(jù)異常需要追溯歷史埋點的歷史文檔尋找的版本管理問題。
- 通過可視化抓包,解決了埋點數(shù)據(jù)驗收的重度依賴數(shù)據(jù)庫查詢的相對低效的方法。
- 通過可視化對比校驗和發(fā)布/下線能力,解決了開發(fā)同事單獨管理埋點需求的版本及發(fā)布場景問題,并有明確的數(shù)據(jù)校驗流程,從而間接提升數(shù)據(jù)質(zhì)量的管理。
三、如何設計埋點管理系統(tǒng)?
1. 業(yè)務流程確認
說了埋點管理系統(tǒng)能解決的問題,接下來聊聊埋點管理系統(tǒng)長啥樣,如何才能設計出解決我們以上問題的埋點管理系統(tǒng)。在此之前,我們先了解埋點場景的業(yè)務流程:
圖一:埋點業(yè)務流程圖1
2. 系統(tǒng)功能確認
業(yè)務流程確認了,我們就在對應的業(yè)務流程上增加產(chǎn)品功能模塊去承載每個業(yè)務流程節(jié)點的需求,如下圖:
圖二:埋點業(yè)務流程圖2
3. 事件模型確認
在了解系統(tǒng)功能設計之前,我們先了解一下埋點管理系統(tǒng)里涉及到的全部管理對象及對象之間的關系。
埋點管理系統(tǒng)一共涉及到四個對象,分別是應用、埋點需求批次、埋點事件、事件屬性。他們之間的關系是自上而下的邏輯關系。
圖三:埋點事件模型圖
4. 系統(tǒng)功能架構設計
通過埋點業(yè)務流程及事件模型的梳理,我們得出了多個系統(tǒng)功能模塊,拆解出來的埋點系統(tǒng)功能結(jié)構如下圖:
圖四:埋點管理系統(tǒng)功能結(jié)構圖
下面我們將對系統(tǒng)的每個功能模塊展開闡述:
1)應用管理
應用管理功能主要是承載業(yè)務團隊新增一個APP/小程序/H5/web端等業(yè)務產(chǎn)品對象,我們需要在系統(tǒng)里先創(chuàng)建一個新的埋點產(chǎn)品對象,然后才有后續(xù)增加的埋點需求及事件元信息等。
這個模塊包含應用新增、刪除、編輯等基礎功能。產(chǎn)品團隊需要負責的埋點產(chǎn)品都可以放在這里統(tǒng)一管理。
圖五:應用管理列表圖
2)埋點需求管理
埋點需求管理功能主要承載集中管理業(yè)務團隊提過來給產(chǎn)品團隊的埋點需求文檔,這里可以創(chuàng)建需求、編輯需求、下鉆需求、下線需求等。
在這里,需求按照批次來進行管理,每一個埋點需求都有一個唯一的批次號,掛載到對應的應用及版本上,并且點擊單個埋點需求批次號,可以直接下鉆到該埋點需求下的全部事件列表。
圖六:埋點需求管理列表圖
3)事件管理
管理功能則承載來所有埋點需求拆解出來需要開發(fā)的埋點事件元信息,這里可以創(chuàng)建事件、編輯事件、下鉆事件、搜索事件、下線事件等。
事件是埋點拆解的最小對象單元,在這里每個事件都要掛載在對應的埋點需求批次上,系統(tǒng)里沒有獨立自自己游蕩的事件。這樣所有的應用、埋點需求批次和事件都有了映射關系。當需要使用埋點數(shù)據(jù)時,先來埋點管理系統(tǒng)查找埋點需求批次,這種清晰的映射關系在查詢埋點元信息時提供了高效的途徑。
圖七:事件管理列表圖
4)屬性管理
屬性管理功能模塊承載的是常用的有共性的屬性。一個個獨立的屬性常用屬性,比如用用戶ID、用戶客戶端系統(tǒng)、在線時長等屬性,可以在屬性管理這里完成注冊。
在用戶新建事件時,可以直接引用已注冊完成的屬性綁定到事件上,減少用戶填寫事件屬性信息時的大量重復填寫工作。
5)埋點校驗
走到這里,埋點已經(jīng)開發(fā)完成了,到了測試、驗收、上線的環(huán)節(jié)。這里的埋點校驗包含兩部分,可視化抓包測試及開發(fā)環(huán)境和測試環(huán)境的信息對比。完成這兩個環(huán)節(jié)之后,開發(fā)同事才可以把埋點發(fā)布到正式環(huán)境。
可視化抓包測試:
可視化抓包功能頁主要提供給產(chǎn)品經(jīng)理和測試同學可以現(xiàn)場抽樣測試事件數(shù)據(jù),檢查上報的屬性是否已經(jīng)完整,屬性值是否準確。
圖八:埋點數(shù)據(jù)實時抓包圖
對比與同步:
在線對比和發(fā)布功能頁則是承載了開發(fā)童鞋對比生產(chǎn)環(huán)境和測試環(huán)境埋點元信息的差異之處,幫助快速確認已經(jīng)進行了變更處理之處。及支持開發(fā)童鞋在線可視化發(fā)布埋點事件,便捷高效。
圖九:埋點需求對比及同步功能圖
6)埋點監(jiān)控
埋點監(jiān)控功能承載的則是埋點管理系統(tǒng)全部埋點事件的及任務運行的結(jié)果監(jiān)控。包括展示全部埋點應用統(tǒng)計數(shù)、埋點需求統(tǒng)計數(shù)、事件統(tǒng)計數(shù)、有效在線事件統(tǒng)計數(shù)、異常的埋點事件數(shù)、未處理的埋點需求/事件數(shù)等,是統(tǒng)計和展示整個系統(tǒng)管理對象及對象運行情況的監(jiān)控功能模塊。
方便參與埋點工作的同事了解整體產(chǎn)品的埋點任務運行情況,和及時發(fā)現(xiàn)埋點上報數(shù)據(jù)的異常情況。也是埋點管理系統(tǒng)的一個必不可少的模塊。
四、寫在最后
以上從埋點管理系統(tǒng)的定位和解決的痛點問題,及系統(tǒng)的建設過程給大家闡述一遍,希望能幫助大家在對埋點管理系統(tǒng)及建設有個相對完整的認識。
最后,總結(jié)幾點系統(tǒng)建設過程中的思考分享給大家:
1)埋點管理系統(tǒng)是一個服務于數(shù)據(jù)團隊但涉及合作團隊較多的系統(tǒng)。在不同公司,可能埋點業(yè)務流程不一樣,而我這里分享的是我經(jīng)歷過的埋點工作場景中協(xié)同效率比較高效的埋點業(yè)務流程,希望能提供參考借鑒。
2)埋點需求批次跟應用版本號不完全保持一致,不要當作是形同對象而相互替代。因為很可能在后期版本增加早期發(fā)版的產(chǎn)品功能的埋點。如果當作同一個問題處理,將導致埋點需求管理能力可擴展性太弱,很快整個系統(tǒng)都陷入了管理瓶頸。
3)埋點管理系統(tǒng)真實可以提升業(yè)務、產(chǎn)品、開發(fā)、數(shù)據(jù)分析多個團隊的協(xié)同效率,用起來非常爽,能早建設盡早建設。
此處完結(jié)。
本文由 @九果女孩Maky 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Pexels,基于 CC0 協(xié)議
超級棒?。?!
請問,批量同步的功能是解決什么問題呢。謝謝回復
很不錯