服務(wù)開發(fā)篇 | 面向OLAP的數(shù)據(jù)指標使用

1 評論 928 瀏覽 0 收藏 7 分鐘

在大數(shù)據(jù)和數(shù)字化轉(zhuǎn)型的背景下,OLAP(在線分析處理)系統(tǒng)在企業(yè)中扮演著越來越關(guān)鍵的角色。本文深入探討了面向OLAP的數(shù)據(jù)指標使用,分析了其與建模場景下數(shù)據(jù)指標的區(qū)別,并討論了這種新型數(shù)據(jù)指標系統(tǒng)對現(xiàn)有開發(fā)流程的顛覆性影響。

建模場景下的數(shù)據(jù)指標在數(shù)據(jù)管理篇【數(shù)據(jù)規(guī)劃可行嗎】中介紹過了,這里講下OLAP場景下的數(shù)據(jù)指標。

一、兩者的區(qū)別

這里在OLAP場景下的數(shù)據(jù)指標,和建模場景下的數(shù)據(jù)指標最大區(qū)別就是,這里數(shù)據(jù)指標類似于已經(jīng)和數(shù)據(jù)相結(jié)合了,不單單是一個指標口徑。

在建模場景下的數(shù)據(jù)指標,原始的方式可以使用一個Excel表格,通過表格來統(tǒng)計、整理一些數(shù)據(jù)指標的字段。在OLAP場景下的數(shù)據(jù)指標,或者說數(shù)據(jù)指標系統(tǒng),已經(jīng)和底層的存儲相綁定了,已經(jīng)具備了一定的物理屬性,而不僅僅像建模場景下的數(shù)據(jù)指標,僅僅是一個邏輯概念。

通常,這種OLAP的數(shù)據(jù)指標是領(lǐng)導(dǎo)重點關(guān)心的,就會在數(shù)據(jù)倉庫之上增加這么一層。而需要特別注意的一點,就是如果將所有指標都添加到面向OLAP的數(shù)據(jù)指標中,其實是對現(xiàn)有的整體開發(fā)模式的完全顛覆。

二、為什么說面向OLAP的數(shù)據(jù)指標系統(tǒng)是現(xiàn)有開發(fā)流程的一個顛覆

首先,我們先概略的看下現(xiàn)在的開發(fā)流程是什么樣的,僅展示BI報表部分。

【業(yè)務(wù)系統(tǒng)數(shù)據(jù)】—{導(dǎo)入}—【數(shù)據(jù)湖/數(shù)據(jù)倉庫】—{加工/清洗}—【數(shù)據(jù)倉庫】—{導(dǎo)入}—【OLAP引擎(MySQL或者HOLO等)】—{授權(quán)}—【BI系統(tǒng)展示】

那有了面向OLAP的數(shù)據(jù)指標系統(tǒng),我們會替換哪些部分那。個人認為—{加工/清洗}—【數(shù)據(jù)倉庫】—{導(dǎo)入}—【OLAP引擎(MySQL或者HOLO等)】—{授權(quán)}—。這一部分都會被替換掉,其中又分為三個環(huán)節(jié)。

環(huán)節(jié)一:當有了面向OLAP的指標系統(tǒng)后,預(yù)期的效果是對基礎(chǔ)指標統(tǒng)一口徑,在指標系統(tǒng)生成之后,業(yè)務(wù)用戶能夠使用基礎(chǔ)指標自己進行邏輯加工,生成符合指標了,所以—{加工/清洗}—【數(shù)據(jù)倉庫】這一部分會被替換掉。

環(huán)節(jié)二:當新生成的復(fù)合指標天然在面向OLAP的指標系統(tǒng)中時,就不需要將原來數(shù)倉中生成的指標再導(dǎo)入到OLAP類型的引擎中,所以—{導(dǎo)入}—【OLAP引擎(MySQL或者HOLO等)】這一部分會被替換掉。

環(huán)節(jié)三:當不導(dǎo)入傳統(tǒng)的OLAP計算引擎,要使用面向OLAP數(shù)據(jù)指標系統(tǒng)時,對BI的授權(quán)就需要調(diào)整。這是第三部分被替換掉。

所以,如果是一個全新的數(shù)據(jù)指標系統(tǒng)的話,和現(xiàn)在的數(shù)據(jù)加工流程方式,個人認為是顛覆性的調(diào)整。

三、這種顛覆的開發(fā)形式是否能夠落地

這種面向OLAP的數(shù)據(jù)指標系統(tǒng),其實是在數(shù)據(jù)倉庫和上層應(yīng)用之間,增加了新的一層,相當于重構(gòu)了整個鏈路。

就拿最普遍的 BI 報表系統(tǒng)來說,指標平臺開發(fā)的指標如何去 BI 中使用,很多廠商說我們的指標平臺支持開發(fā)指標API 服務(wù),通過 API 對接 BI 系統(tǒng)。

一個指標一個 API?還是一批指標一個 API?

此外,要知道目前多數(shù) BI 平臺,都是基于數(shù)據(jù)集進行圖表和報表開發(fā)的,指標和數(shù)據(jù)集如何融合? 另外一個,就是權(quán)限問題,指標平臺自身有賬號和權(quán)限管控體系,BI 系統(tǒng)也有自己的賬號和權(quán)限體系,如何確保數(shù)據(jù)安全管控?

如果企業(yè)有實力提供端到端的數(shù)據(jù)工具,從數(shù)據(jù)上報、數(shù)據(jù)中臺、指標平臺、BI 可視化等工具都是自家的,也不是不行,總是有辦法兼容和整合指標和數(shù)據(jù)集的。

但還是需要拋棄現(xiàn)在的整個鏈路,是不是有這個勇氣?以及能夠帶來多少好處?也都決定是否能夠落地。

四、一種不一定對的想法

雖然,上面說這種指標系統(tǒng)是一個顛覆性的過程,但是個人想有一個比較折中的方案。就是將主要的指標數(shù)據(jù),在加工好之后同步到一個OLAP系統(tǒng)中,成為公司級別的統(tǒng)一指標庫。所有,相近的指標都已這個系統(tǒng)內(nèi)的為準。僅僅是一個想法。不知道是不是合適。

五、總結(jié)

大數(shù)據(jù)領(lǐng)域各種概念橫行,因為是一個實踐的學(xué)科。大家也都不追求同一個概念的統(tǒng)一。所以,在一些概念理解上會出現(xiàn)不一致的情況。還是一直說的,需要個人或者一個組織內(nèi),能夠?qū)σ恍└拍钸_成統(tǒng)一。

本文由人人都是產(chǎn)品經(jīng)理作者【數(shù)據(jù)小吏】,微信公眾號:【數(shù)據(jù)小吏】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于 CC0 協(xié)議。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 這種方案可能更適合那些希望逐步過渡到更先進數(shù)據(jù)分析系統(tǒng)的企業(yè)。最終,是否采納這種方案,需要根據(jù)企業(yè)的具體情況和需求來決定。

    來自廣東 回復(fù)