關于數(shù)據(jù)中臺與數(shù)據(jù)倉庫的區(qū)別,你需要知道這些
編輯導讀:“中臺”是前臺和后臺的鏈接點,將業(yè)務共同的工具和技術予以沉淀。而中臺細分下來也有很多類目,比如數(shù)據(jù)中臺,很多人不知道它和數(shù)據(jù)倉庫、商業(yè)分析有什么區(qū)別。本文作者對此進行了分析,與你分享。
“中臺”這個概念,是相對于前臺和后臺而生,是前臺和后臺的鏈接點,將業(yè)務共同的工具和技術予以沉淀。相對于業(yè)務中臺來講,數(shù)據(jù)中臺跟企業(yè)的業(yè)務有較強的關聯(lián)性,是企業(yè)業(yè)務和數(shù)據(jù)的沉淀,如果在煙囪林立的各財務業(yè)務系統(tǒng)之上搭建共享的數(shù)據(jù)中臺,其不僅能降低重復建設和減少煙囪式協(xié)作的成本,也是企業(yè)差異化競爭優(yōu)勢所在。
然而,當說到數(shù)據(jù)中臺這里,很多人就有了疑問,以前沒有數(shù)據(jù)中臺這個概念時,企業(yè)不是也建設了數(shù)據(jù)倉庫、商業(yè)分析之類的東西嗎?對比這個有什么區(qū)別?不就是換了個概念和馬甲嗎?
一、數(shù)據(jù)中臺與數(shù)倉的區(qū)別
首先可以先看看專業(yè)的數(shù)據(jù)中臺的白皮書是怎么說的:數(shù)據(jù)中臺是一站式解決平臺,從數(shù)據(jù)集成、大數(shù)據(jù)計算、數(shù)據(jù)治理、數(shù)據(jù)工具、數(shù)據(jù)模型、數(shù)據(jù)應用、市場集成完整一套綜合解決方案及產(chǎn)品系列。
而數(shù)據(jù)倉庫平臺逐步從BI報表為主到分析為主、到預測為主、再到操作智能為目標。數(shù)據(jù)倉庫系統(tǒng)的作用能實現(xiàn)跨業(yè)務條線、跨系統(tǒng)的數(shù)據(jù)整合,為管理分析和業(yè)務決策提供統(tǒng)一的數(shù)據(jù)支持。
但數(shù)據(jù)中臺從某個意義來說也屬于數(shù)倉的一種,都是要把數(shù)據(jù)抽進來建立一個數(shù)據(jù)倉庫。但是兩者的數(shù)據(jù)來源和建立數(shù)倉的目標以及數(shù)據(jù)應用的方向都存在很大差異。
首先,從數(shù)據(jù)來源來說,數(shù)據(jù)中臺的數(shù)據(jù)來源期望是全域數(shù)據(jù)包括業(yè)務數(shù)據(jù)庫,日志數(shù)據(jù),埋點數(shù)據(jù),爬蟲數(shù)據(jù),外部數(shù)據(jù)等。數(shù)據(jù)的來源可以是結(jié)構(gòu)化數(shù)據(jù)或者非結(jié)構(gòu)化的數(shù)據(jù)。而傳統(tǒng)數(shù)倉的數(shù)據(jù)來源主要是業(yè)務數(shù)據(jù)庫,數(shù)據(jù)格式也是以結(jié)構(gòu)化數(shù)據(jù)為主。
數(shù)據(jù)中臺不單單指系統(tǒng)或者工具,而是一個職能部門,通過一系列平臺、工具、流程、規(guī)范來為整個組織提供數(shù)據(jù)資產(chǎn)管理和服務的職能部門。數(shù)據(jù)中臺負責全域數(shù)據(jù)采集、數(shù)據(jù)資產(chǎn)加工和管理、并向前臺業(yè)務部門和決策部門提供數(shù)據(jù)服務。所以,數(shù)據(jù)中臺的核心應該是數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)賦能,通俗的講就是數(shù)據(jù)彈藥庫。
1. 數(shù)據(jù)來源不同
數(shù)據(jù)中臺的數(shù)據(jù)來源期望是全域數(shù)據(jù),包括:業(yè)務數(shù)據(jù)庫,日志數(shù)據(jù),埋點數(shù)據(jù),爬蟲數(shù)據(jù),外部數(shù)據(jù)等,數(shù)據(jù)的來源可以是結(jié)構(gòu)化數(shù)據(jù)或者非結(jié)構(gòu)化的數(shù)據(jù)。
而傳統(tǒng)數(shù)倉的數(shù)據(jù)來源主要是業(yè)務數(shù)據(jù)庫,數(shù)據(jù)格式是以結(jié)構(gòu)化數(shù)據(jù)為主。
2. 建立的目標不同
目標是為了融合整個企業(yè)的全部數(shù)據(jù),打通數(shù)據(jù)之間的隔閡,消除數(shù)據(jù)標準和口徑不一致的問題。
數(shù)據(jù)中臺通常會對來自多方面的的基礎數(shù)據(jù)進行清洗,按照主題域概念建立多個以事物為主的主題域。比如會員域,商品域,渠道域,門店主題域等等。
數(shù)據(jù)中臺遵循三個One的概念:One Data, One ID, One Service,就是說數(shù)據(jù)中臺不僅僅是匯聚企業(yè)各種數(shù)據(jù),而且讓這些數(shù)據(jù)遵循相同的標準和口徑,對事物的標識能統(tǒng)一或者相互關聯(lián),并且提供統(tǒng)一的數(shù)據(jù)服務接口。就像做菜一樣,按照標準化的菜名,先把所有可能用到的材料都準備好。
而傳統(tǒng)的數(shù)倉主要用來做BI的報表,目的性很單一,只抽取和清洗相關需要使用到的基礎數(shù)據(jù),進行建倉,然后再用來做領域分析,有的時候可能因為新增一張報表,就要從底層到上層再做一次加工和處理。
3. 數(shù)據(jù)應用方面不同
建立在數(shù)據(jù)中臺上的數(shù)據(jù)應用不僅僅只是面向于BI報表,更多面向營銷推薦,用戶畫像,AI決策分析,風險評估等。這些應用的特點比較輕,容易快速開發(fā)出來,因為重要的數(shù)據(jù)分析工作在數(shù)據(jù)中臺已經(jīng)完成并且沉淀,所以之前工作成果都能被多個應用共享。
而傳統(tǒng)的數(shù)據(jù)倉庫主要是面向報表或者高級可視化,數(shù)據(jù)應用的建設一般是面對相對確定的主題內(nèi)容,在諸如數(shù)據(jù)建模,進行數(shù)據(jù)追蹤與探查,深度挖掘?qū)用娲嬖谳^大的局限性。
4. 依賴平臺不同
數(shù)據(jù)中臺一般都是建立在分布式計算平臺和存儲平臺,理論上可以無限擴充平臺的計算和存儲能力。
而多數(shù)的傳統(tǒng)數(shù)倉工具只是建立在傳統(tǒng)關系數(shù)據(jù)庫和單一服務器部署的基礎上,一旦數(shù)據(jù)量變大,很容易出現(xiàn)存儲、效率、計算的問題,其后續(xù)擴充存在較大的成本和時間。
二、數(shù)據(jù)中臺經(jīng)歷的階段
事實上,阿里巴巴很早便開始運用中臺模式滿足業(yè)務需求,并于 2015 年正式提出中臺戰(zhàn)略。中臺戰(zhàn)略的原理是將不同業(yè)務通用的工具和技術加以沉淀,成立專門的中臺部門,這樣新的業(yè)務需求可以不再重新設計,避免因重復的功能建設和維護造成資源浪費。
構(gòu)建靈活、多變的組織機制和業(yè)務機制是阿里巴巴建立數(shù)據(jù)中臺的戰(zhàn)略核心。各行業(yè)的領頭企業(yè)也開始對數(shù)據(jù)中臺、數(shù)字化轉(zhuǎn)型進行積極探索,力求以數(shù)據(jù)智能的方式實現(xiàn)生產(chǎn)經(jīng)營的智能化和精細化管理。
2018 年 8 月末,騰訊宣布組織架構(gòu)變革,成立技術委員會,未來將打造技術中臺。與此同時,京東、華為、美團等不同業(yè)務領域的互聯(lián)網(wǎng)公司均著手改革組織架構(gòu),積極打通數(shù)據(jù)平臺,構(gòu)建數(shù)據(jù)中臺。至此,數(shù)據(jù)中臺由概念逐漸變?yōu)楝F(xiàn)實,數(shù)據(jù)智能賦能業(yè)務,用更低的成本、更高的效率為用戶服務的模式逐漸被認可,數(shù)據(jù)中臺得到進一步發(fā)展,掀起了一波數(shù)字化轉(zhuǎn)型的浪潮。
而我們從阿里數(shù)據(jù)中臺發(fā)展歷程,可以看到大概經(jīng)歷以下4個階段:
- 數(shù)據(jù)庫階段,主要是OLTP(聯(lián)機事務處理)的需求;
- 數(shù)據(jù)倉庫階段,OLAP(聯(lián)機分析處理)成為主要需求;
- 數(shù)據(jù)平臺階段,主要解決BI和報表需求的技術問題;
- 數(shù)據(jù)中臺階段,通過系統(tǒng)來對接OLTP(事務處理)和OLAP(報表分析)的需求,強調(diào)數(shù)據(jù)業(yè)務化的能力;
那么,數(shù)據(jù)中臺這個階段有什么特征?
其顯著的特征就是數(shù)據(jù)量的指數(shù)級增長,從PB邁向了EB級別。
這個數(shù)量級的變化主要來源于IOT(物聯(lián)網(wǎng))的發(fā)展起來,帶動了視圖聲(視頻、圖像、聲音)數(shù)據(jù)的增長,這些數(shù)據(jù)需要視覺計算技術、圖像解析的引擎+視頻解析的引擎+音頻解析的引擎來轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù);來源于線下要想和線上一樣,通過數(shù)據(jù)來改善業(yè)務,就要和線上一樣能做到行為可監(jiān)測,數(shù)據(jù)可收集,這是前提。
線下最大量的就是視圖聲數(shù)據(jù),依靠IOT技術和算法的進步,最終會通過智能端來自動化獲取數(shù)據(jù);要使用這些數(shù)據(jù),光有視覺算法和智能端也不行,還要有云來存儲和處理這些數(shù)據(jù),以及打通其他領域的數(shù)據(jù)。
綜合這個階段特征,我們看到依靠傳統(tǒng)的數(shù)據(jù)倉庫方法已經(jīng)全然不能滿足企業(yè)大數(shù)據(jù)量、非結(jié)構(gòu)化、分布式存儲的需求。還需要基于IOT設備收集數(shù)據(jù)、基于云端存儲數(shù)據(jù)、基于AI算法和云計算進行應用。
未來的數(shù)據(jù)中臺,一定是AI驅(qū)動的數(shù)據(jù)中臺。
這個中臺包括計算平臺+算法模型+智能硬件,幫助企業(yè)去打通業(yè)務數(shù)據(jù),最終建立線上線下觸達和服務消費者的能力。中臺不僅僅是系統(tǒng),亦是一套方法論,中臺最重要的價值在于從“管理在線”到“業(yè)務在線”。真正做到“一切業(yè)務數(shù)據(jù)化,一切數(shù)據(jù)業(yè)務化”。
本文由 @國云數(shù)據(jù) 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議。
- 目前還沒評論,等你發(fā)揮!