白話數(shù)據(jù)產(chǎn)品(三)——指標體系
“指標”是指對于數(shù)據(jù)的統(tǒng)計值,建立指標體系是為了在報表、Dashboard等工具中快速靈活體現(xiàn)公司數(shù)據(jù)。
一、指標系統(tǒng)介紹
從直觀上來理解,報表系統(tǒng)中的每張報表是通過一些SQL語句計算出來的,系統(tǒng)只要每天按照每張報表的SQL定時去跑數(shù)據(jù)就可以了。
但是隨著時間的推移,報表數(shù)量越來越多,每天的定時SQL任務(wù)跑不動了。但是會發(fā)現(xiàn)其實很多報表用到了類似的指標,可能維度不同或者可能完全相同。
這時候就需要升華一下方案,將報表的計算,細化到指標的計算上。
上述問題的解決需要通過一套完善的指標管理服務(wù)來實現(xiàn),指標服務(wù)相當于存儲了某個指標各種維度下的SQL查詢結(jié)果。如下圖所示,對于指標1,指標服務(wù)需要存儲其在維度1和維度2等維度下的所有拆分值,即存儲的是“維度1-維度2-指標1的值”這樣的索引結(jié)構(gòu)。
有些數(shù)據(jù)團隊會把這些指標值存儲為數(shù)據(jù)倉庫中的一個層級,相當于是對DW層明細數(shù)據(jù)的統(tǒng)計值計算,但是在實際應(yīng)用中,對指標值的調(diào)用需要滿足很強的即時性,存在數(shù)據(jù)倉庫中可能達不到這樣的性能要求,于是改為存儲在HBase這種Key-Value存儲方式的數(shù)據(jù)庫中。
按照這樣的存儲方式好處是什么呢?
當你想要看指標1在“維度1=A&維度2=a”等各種組合條件下的值的時候,可以方便取出來,如果指標1是可以簡單加和的,那么你還可以查看各種維度組合加和的數(shù)據(jù)。比如:不選擇維度1和維度2的條件,直接看指標1的總計值,也是可以通過加和做到的。
這樣的處理方式還為用戶自助創(chuàng)建報表提供了可能,用戶可以選擇想看的指標在任意維度下的數(shù)據(jù),還可以任意拼接指標形成自己的專屬報表。
而且,這樣做,一個指標不管被多少個報表用到,只用計算一遍數(shù)據(jù)即可。具體報表呈現(xiàn)的時候,實際只是將各種統(tǒng)計值進行組合,不需要運行SQL實時拉取計算數(shù)據(jù),效率也就提高了很多。
二、指標系統(tǒng)的SQL實現(xiàn)
指標系統(tǒng)實際就是寫一個稍微復雜的包含多個group by的SQL,其實看到上面的圖,大家也可以聯(lián)想到,其實就是自己在運行SQL的時候得到的一個包含多個索引的group by結(jié)果。
思路即使將指標拆分到最小粒度,再在報表中根據(jù)需要組合各個維度下的值。
三、指標系統(tǒng)的優(yōu)缺點
上面解決方案聽起來很完美,實際操作中還是有不少問題存在的。
- 對于計算時需要去重的指標(比如:一個用戶多個訂單這種事實表,要計算用戶的數(shù)量),你得到的只是在當前維度組合下的指標。并不能簡單實現(xiàn)只取部分指標的場景,或不選擇維度的場景,大家可以自己思考下為什么。
- 因為指標系統(tǒng)拆為了盡可能增大指標的可重復使用性,拆分了盡可能多的維度,有時候甚至維度的組合行數(shù)已經(jīng)達到了10萬+的級別。這就造成在報表系統(tǒng)中組合不同維度的數(shù)據(jù)有時候,實時處理壓力很大。當然也是有辦法進行優(yōu)化的,這里就不深入介紹了。
- 因為指標是一層數(shù)據(jù)抽象,當指標數(shù)據(jù)出現(xiàn)問題的時候,排查問題就相當于多了一層。類似的,修復數(shù)據(jù)也要多修復一層。
- 另外,如果要給現(xiàn)有指標體系增加維度,舊數(shù)據(jù)的處理也是一件比較麻煩的事情,因為需要重跑之前的歷史數(shù)據(jù)。
四、業(yè)務(wù)的指標體系建立
指標的原理講完了,那么在實際操作中,我們需要做哪些指標出來呢?
其實指標需求主要來自業(yè)務(wù)方運營人員等,但是不同運營部門可能關(guān)心的側(cè)重點不同,而且會有遺漏情況。
首先我們要把不同部門的需求收集完,然后根據(jù)需求指標類型進行分類。在分類中要cover到大家的需求,還要盡可能窮舉其他可能的指標。這部分也是依賴自己對于業(yè)務(wù)系統(tǒng)的了解及數(shù)據(jù)庫的了解,其實跟數(shù)據(jù)倉庫的搭建是一體的事情。
相關(guān)閱讀
白話數(shù)據(jù)產(chǎn)品(一):數(shù)據(jù)倉庫
白話數(shù)據(jù)產(chǎn)品(二):SQL 5分鐘入門
作者:小九,一枚互金數(shù)據(jù)產(chǎn)品
本文由 @小九 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
怎么聯(lián)系你,加我q2244999284
大家期待已久的《數(shù)據(jù)產(chǎn)品經(jīng)理實戰(zhàn)訓練營》終于在起點學院(人人都是產(chǎn)品經(jīng)理旗下教育機構(gòu))上線啦!
本課程非常適合新手數(shù)據(jù)產(chǎn)品經(jīng)理,或者想要轉(zhuǎn)崗的產(chǎn)品經(jīng)理、數(shù)據(jù)分析師、研發(fā)、產(chǎn)品運營等人群。
課程會從基礎(chǔ)概念,到核心技能,再通過典型數(shù)據(jù)分析平臺的實戰(zhàn),幫助大家構(gòu)建完整的知識體系,掌握數(shù)據(jù)產(chǎn)品經(jīng)理的基本功。
學完后你會掌握怎么建指標體系、指標字典,如何設(shè)計數(shù)據(jù)埋點、保證數(shù)據(jù)質(zhì)量,規(guī)劃大數(shù)據(jù)分析平臺等實際工作技能~
現(xiàn)在就添加空空老師(微信id:anne012520),咨詢課程詳情并領(lǐng)取福利優(yōu)惠吧!
謝謝,很有用
目前我正在做一塊,期望進一步交流
路過看看
路過看看