數(shù)據(jù)中臺(tái)的概念已經(jīng)出現(xiàn)了好幾年，而到目前，互聯(lián)網(wǎng)企業(yè)、IT軟件企業(yè)等企業(yè)都推出了自己的產(chǎn)品與戰(zhàn)略，進(jìn)軍數(shù)據(jù)中臺(tái)領(lǐng)域。怎么理解數(shù)據(jù)中臺(tái)及其產(chǎn)品形態(tài)呢？這篇文章里，作者結(jié)合具體產(chǎn)品做了一定梳理和分析，一起來看。

一、歷史

1. 從世界大數(shù)據(jù)的角度去看

1991年，Bill Inmon出版了《建立數(shù)據(jù)倉庫》。也就是目前我們還是一直在使用的數(shù)據(jù)倉庫的概念。在落地方面，沒有準(zhǔn)確的消息當(dāng)時(shí)的技術(shù)是如何將大批量的數(shù)據(jù)入倉庫的，但是因?yàn)槠浞菍?shí)時(shí)性質(zhì)，應(yīng)該不是問題，數(shù)據(jù)進(jìn)倉之后再花一些時(shí)間去完成匯總層的計(jì)算。

2003年，Google公布了其內(nèi)部處理海量數(shù)據(jù)的技術(shù)——分布式文件系統(tǒng)GFS、并行處理框架——MapReduce、高效數(shù)據(jù)存儲(chǔ)模型BigTable等等。這些促成了Hadoop的誕生，再后面是Hadoop的完善、更多的大數(shù)據(jù)相關(guān)開源項(xiàng)目的誕生，以致于每個(gè)場景都有了框架去使用，例如：Flink、Impala、Kudu、Kafka等等。

2008年~2011年，這期間是學(xué)術(shù)界對(duì)于大數(shù)據(jù)討論的繁榮時(shí)期，Nature、EMC世界大會(huì)、麥肯錫全球研究院、Gartner都在發(fā)表自己對(duì)于大數(shù)據(jù)的看法。大數(shù)據(jù)開始成為人們熱議的話題。

2011年以及之后，世界多國都將大數(shù)據(jù)作為戰(zhàn)略，更是推動(dòng)了大數(shù)據(jù)的發(fā)展。

2. 從國家大數(shù)據(jù)角度去看

2014年開始探索大數(shù)據(jù)，并持續(xù)地去運(yùn)用大數(shù)據(jù)，將大數(shù)據(jù)作為戰(zhàn)略，可見大數(shù)據(jù)的重要性。我想比較明顯的感受是一些政務(wù)可以在網(wǎng)上處理了，不一定要本人到現(xiàn)場辦理。

3. 從數(shù)據(jù)產(chǎn)品的角度去看

數(shù)據(jù)使用需要一種方式。

在久遠(yuǎn)的年代或者是落后的企業(yè)環(huán)境里，我們還不會(huì)使用數(shù)據(jù)倉庫，只是使用數(shù)據(jù)庫去存我們的所有數(shù)據(jù)，但是這讓我們大量的數(shù)據(jù)難以完成計(jì)算，時(shí)效低。

到了數(shù)據(jù)倉庫的時(shí)代，開始使用數(shù)據(jù)倉庫去存和使用數(shù)據(jù)，使用效率開始有了較大的提升。

同樣是數(shù)據(jù)倉庫的形式，到了企業(yè)里面之后，隨著對(duì)于數(shù)據(jù)的管理實(shí)踐，漸漸總結(jié)出了數(shù)據(jù)平臺(tái)這個(gè)東西，可能是基于組織架構(gòu)。

到現(xiàn)在，我們主要還是為了提升使用數(shù)據(jù)的效率，因而產(chǎn)生了數(shù)據(jù)中臺(tái)，這種高復(fù)用的使用和管理數(shù)據(jù)的方式。

4. 從數(shù)據(jù)中臺(tái)的角度去看

數(shù)據(jù)中臺(tái)的概念最早起源于2015年。

2015年，馬云在拜訪參觀芬蘭游戲公司Supercell時(shí)注意到該公司擁有一個(gè)強(qiáng)大的技術(shù)平臺(tái)來支持公司內(nèi)部小團(tuán)隊(duì)的游戲開發(fā)，從而各團(tuán)隊(duì)可以專注創(chuàng)新，基礎(chǔ)且同質(zhì)化的技術(shù)內(nèi)容已實(shí)現(xiàn)共享支持。如果將這種思維轉(zhuǎn)化到企業(yè)治理中，則需要構(gòu)建一個(gè)資源整合和能力沉淀的平臺(tái)，達(dá)到對(duì)不同部門進(jìn)行總協(xié)調(diào)和支持的目的，數(shù)據(jù)中臺(tái)的概念由此誕生。

2016 年，阿里巴巴開始實(shí)施數(shù)據(jù)中臺(tái)戰(zhàn)略，通過構(gòu)建創(chuàng)新靈活的“大中臺(tái)”、“小前臺(tái)”的組織機(jī)制和業(yè)務(wù)機(jī)制，實(shí)現(xiàn)管理模式的創(chuàng)新。

2017年，滴滴出行跟進(jìn)了數(shù)據(jù)中臺(tái)戰(zhàn)略，并于同年12月分享了《如何構(gòu)建滴滴出行業(yè)務(wù)中臺(tái)》的企業(yè)戰(zhàn)略。

2018 年，京東于12月宣布采用前臺(tái)、中臺(tái)與后臺(tái)的組織架構(gòu)。

2019年，數(shù)據(jù)中臺(tái)建設(shè)規(guī)模開始迅速增長，傳統(tǒng)企業(yè)與創(chuàng)新企業(yè)均積極參與建設(shè)，同時(shí)，行業(yè)中涌現(xiàn)了一批以建設(shè)數(shù)據(jù)中臺(tái)為核心業(yè)務(wù)的創(chuàng)新業(yè)務(wù)服務(wù)商。

截至目前，互聯(lián)網(wǎng)企業(yè)、IT軟件企業(yè)、移動(dòng)運(yùn)營商及IT解決方案提供商均推出自己的產(chǎn)品與戰(zhàn)略，進(jìn)軍數(shù)據(jù)中臺(tái)領(lǐng)域。

二、數(shù)據(jù)中臺(tái)的形態(tài)總結(jié)

1. 核心能力

我認(rèn)為是強(qiáng)大的服務(wù)能力，能夠快速響應(yīng)業(yè)務(wù)的需求。一般企業(yè)內(nèi)的數(shù)據(jù)中臺(tái)并沒有數(shù)據(jù)業(yè)務(wù)化，也就是說數(shù)據(jù)中臺(tái)是不賺錢的，此時(shí)數(shù)據(jù)中臺(tái)扮演的角色是輔助業(yè)務(wù)決策。

而扮好這個(gè)角色就是業(yè)務(wù)有很多需求，數(shù)據(jù)中臺(tái)都能夠及時(shí)地消化，這是很難的，相信一定會(huì)有出現(xiàn)一個(gè)需求兩個(gè)月才完成的情況出來，從需求提出到產(chǎn)品梳理到技術(shù)開發(fā)到測試到驗(yàn)收到上線，這是一個(gè)漫長的過程。

如果任何一個(gè)需求都是這樣去開發(fā)地話，完成業(yè)務(wù)的需求需要大量的人力，但這是難以做到的，企業(yè)需要考慮用人成本，而現(xiàn)在的技術(shù)成本是相當(dāng)高的。那么數(shù)據(jù)中臺(tái)此時(shí)就是為提升服務(wù)業(yè)務(wù)的能力而生。

2. 架構(gòu)

onedata和oneentity的理論的理論來自于阿里。經(jīng)過我的其他一些認(rèn)知結(jié)合，我對(duì)這2個(gè)方法論的認(rèn)知如下。oneentity是數(shù)據(jù)的底層根基，作用在于打通數(shù)據(jù)。常見的數(shù)據(jù)打通是人的數(shù)據(jù)的打通，但實(shí)際上oneentity不僅僅指的是人，物也是需要打通的，也就是說需要對(duì)人或者物進(jìn)行唯一標(biāo)識(shí)。

通常一個(gè)人即是唯一的，此時(shí)常用的方法論是ID-Mapping。物的話，一個(gè)物可以是唯一的，但是如果是批量的商品，那么往往還會(huì)有唯一的型號(hào)，用以標(biāo)識(shí)都是同一類型的商品。這樣后續(xù)需要統(tǒng)計(jì)商品的銷售情況時(shí)，可打通全域的數(shù)據(jù)進(jìn)行全面的統(tǒng)計(jì)。

onedata指的是數(shù)據(jù)只存一份，口徑統(tǒng)一。所有的數(shù)據(jù)匯集到數(shù)據(jù)中臺(tái)，各個(gè)計(jì)算好的指標(biāo)或者維度都是統(tǒng)一的，企業(yè)內(nèi)的任何地方需要統(tǒng)計(jì)數(shù)據(jù)都是從這一份數(shù)據(jù)拿數(shù)據(jù)進(jìn)行統(tǒng)計(jì)。

乍一聽感覺是比較簡單的一個(gè)方法論，但是在實(shí)踐的過程中不好將所有的口徑進(jìn)行統(tǒng)一，因?yàn)楦鱾€(gè)業(yè)務(wù)線對(duì)于口徑都有自己的看法。然而，我認(rèn)為盡管如此，我們還是可以制定出公認(rèn)的標(biāo)準(zhǔn)的口徑，這樣的話高層在看數(shù)據(jù)的時(shí)候就不至于因?yàn)槎嗫趶蕉`解了數(shù)據(jù)，至于那些個(gè)性化的口徑可以使用某個(gè)規(guī)則將盡可能多的個(gè)性化口徑覆蓋，還有部分個(gè)性口徑實(shí)在沒有辦法覆蓋則為之創(chuàng)建特定的表去計(jì)算。

3. 核心邏輯

1）關(guān)于oneentity

關(guān)于人，我曾寫過一個(gè)相對(duì)詳盡的ID-Mapping的方案，在此不再贅述，邏輯比較復(fù)雜。

關(guān)于物，這個(gè)的邏輯比較簡單，主要就是物都經(jīng)過中臺(tái)，帶有唯一標(biāo)識(shí)，所帶的標(biāo)識(shí)將會(huì)去到訂單、行為日志等等數(shù)據(jù)里，這樣的話，便可基于唯一標(biāo)識(shí)去打通全域的物體。而這個(gè)事情通常是由業(yè)務(wù)中臺(tái)去做，數(shù)據(jù)中臺(tái)再基于業(yè)務(wù)中臺(tái)的數(shù)據(jù)去統(tǒng)計(jì)。

2）關(guān)于onedata

在過去我們建設(shè)數(shù)據(jù)倉庫總是先有數(shù)據(jù)分析需求，然后才是ETL工程師去設(shè)計(jì)數(shù)據(jù)倉庫并進(jìn)行開發(fā)。我認(rèn)為了解業(yè)務(wù)，從業(yè)務(wù)的角度去建設(shè)數(shù)據(jù)倉庫會(huì)是更好的做法。

兩種做法得到的結(jié)果的區(qū)別在于業(yè)務(wù)的附加程度是不一樣的，前者可以說基本就是基于技術(shù)的角度去設(shè)計(jì)數(shù)據(jù)倉庫的，可能會(huì)造成之后的修改或者不斷的新增更多相似的表，單點(diǎn)的開發(fā)并不會(huì)考慮更多的事情，基于需求能夠完成需求即可。后者則是在充分了解業(yè)務(wù)的情況下，以俯視的視角去進(jìn)行設(shè)計(jì)，考慮到業(yè)務(wù)的情況，之后有更多的其他的數(shù)據(jù)時(shí)，不需要頻繁新增表或者改表，而是在良好的表基礎(chǔ)上進(jìn)行擴(kuò)展——簡單理解就是加字段。

這樣的設(shè)計(jì)背后的邏輯常常是基于主流程主數(shù)據(jù)考慮的。我們會(huì)梳理出主流程，并在主流程中找到我們認(rèn)為重要的主數(shù)據(jù)，然后基于主數(shù)據(jù)進(jìn)行標(biāo)簽或者指標(biāo)的設(shè)計(jì)。

而這些標(biāo)簽/指標(biāo)將依附在我們的表中。每一張表其實(shí)代表的是主數(shù)據(jù)的一個(gè)分類，而主數(shù)據(jù)是這個(gè)分類的根節(jié)點(diǎn)。如下例子所示，用戶是主數(shù)據(jù)，是根節(jié)點(diǎn)，注冊(cè)信息是分類或者可以叫它子節(jié)點(diǎn)（對(duì)應(yīng)的是我們的表），而首次注冊(cè)的APP、首次注冊(cè)的渠道則是樹節(jié)點(diǎn)（對(duì)應(yīng)的是我們表中的字段）。當(dāng)然這個(gè)樹結(jié)構(gòu)可能沒有這么簡單，根據(jù)企業(yè)的實(shí)際情況建立樹結(jié)構(gòu)。

4. 落地

• 標(biāo)簽體系設(shè)計(jì)：主要是產(chǎn)品或者是資產(chǎn)設(shè)計(jì)師建立標(biāo)簽體系，相當(dāng)于給技術(shù)提需求。這里的標(biāo)簽可能是指標(biāo)也可能是標(biāo)簽。
• 標(biāo)簽同步與加工：需求到了技術(shù)時(shí)，當(dāng)技術(shù)完成開發(fā)后，需要將相關(guān)的元數(shù)據(jù)同步回到系統(tǒng)。
• 標(biāo)簽管理：產(chǎn)品/資產(chǎn)設(shè)計(jì)師對(duì)于標(biāo)簽的管理，從標(biāo)簽的上架到下架。
• 標(biāo)簽門戶：標(biāo)簽的展示，相當(dāng)于標(biāo)簽超市。
• 標(biāo)簽應(yīng)用：各種服務(wù)組件，也就是各種各樣的功能。

因?yàn)槲以鴮戇^一篇比較詳盡的文章描述這個(gè)落地方法，在這里就不再贅述了。

5. 行業(yè)情況

2019年被稱為數(shù)據(jù)中臺(tái)元年。單從數(shù)據(jù)來看，目前，我國數(shù)據(jù)中臺(tái)行業(yè)已經(jīng)從萌芽發(fā)展階段轉(zhuǎn)換到高速發(fā)展階段。根據(jù)艾瑞咨詢數(shù)據(jù)，數(shù)據(jù)中臺(tái)市場已從2018年的17億元增長至2020年的68億元，三年CAGR為100%， 到2023年，數(shù)據(jù)中心市場規(guī)模有望達(dá)到183億元，五年CAGR可達(dá)到48.1%。

雖然數(shù)據(jù)看起來不錯(cuò)，但是置身于這個(gè)行業(yè)會(huì)發(fā)現(xiàn)很少真的將中臺(tái)的所有能力都標(biāo)準(zhǔn)化出來的軟件服務(wù)商，大多應(yīng)該都還是提供咨詢服務(wù)，走的是項(xiàng)目制。

這里的數(shù)據(jù)中臺(tái)其實(shí)應(yīng)該更多指的是數(shù)據(jù)產(chǎn)品，并不是企業(yè)自建的那種厚重的中臺(tái)，很少聽說企業(yè)會(huì)將自己的所有數(shù)據(jù)都放在一個(gè)外部的平臺(tái)上，大多數(shù)時(shí)候都是某個(gè)產(chǎn)品使用某個(gè)數(shù)據(jù)平臺(tái)。而且由于中臺(tái)的復(fù)雜性，標(biāo)準(zhǔn)的組件一般難以滿足需求。

那到底復(fù)雜在哪里？或者說并不是復(fù)雜，而是企業(yè)的所有數(shù)據(jù)不會(huì)都交由第三方處理，所以現(xiàn)在的數(shù)據(jù)平臺(tái)一般都是提供比較簡單的標(biāo)準(zhǔn)化的功能，像用戶行為分析、用戶畫像、智能推薦等等。

從大數(shù)據(jù)企業(yè)的排行榜來說，深耕這個(gè)行業(yè)的SaaS公司似乎比大廠更有競爭力，在前30的榜單上沒有看到大廠的身影。

另外，在數(shù)據(jù)行業(yè)，不管什么公司，大多產(chǎn)品都以服務(wù)業(yè)務(wù)為導(dǎo)向，以業(yè)務(wù)價(jià)值為導(dǎo)向，不再片面地追求厚重的中臺(tái)，更加聚合的理想的中臺(tái)，反而順應(yīng)企業(yè)的發(fā)展情況，一般而言中小公司都是不太注重建設(shè)厚重的中臺(tái)，反而希望能夠更輕量地實(shí)現(xiàn)需求，可能實(shí)現(xiàn)地沒有那么完美，但是應(yīng)該是低成本的不需要影響到公司級(jí)別的員工去配合。

我也在這段時(shí)間里從希望能夠比較理想地建設(shè)中臺(tái)到更加希望服務(wù)業(yè)務(wù)為主，至于是否非常規(guī)則高級(jí)地實(shí)現(xiàn)是次要的。至于如何輕量地實(shí)現(xiàn)，按我的理解是不去大改目前的情況，以間接地小改去實(shí)現(xiàn)需求。

三、行業(yè)產(chǎn)品分析

1. 分析的目的

我們僅是從產(chǎn)品的角度去分析各個(gè)廠商做出來的產(chǎn)品是什么樣的，有什么可借鑒可學(xué)習(xí)的地方。

2. 競品的選擇

神策、巨量引擎、友盟。神策是我比較關(guān)注和常用的數(shù)據(jù)產(chǎn)品，在業(yè)界比較出色。巨量引擎是今年接觸到的字節(jié)產(chǎn)品，是一個(gè)比較新的產(chǎn)品，我比較喜歡它的架構(gòu)。友盟則是老牌大廠的一個(gè)產(chǎn)品，用以對(duì)比。

3. 架構(gòu)

神策：

火山引擎：

友盟：

總結(jié)：

總的來說，這樣的架構(gòu)是符合典型的業(yè)務(wù)流程的。

• 先通過廣告進(jìn)行引流。
• 當(dāng)流量來了之后，對(duì)其進(jìn)行行為分析、畫像分析。不知不覺中進(jìn)行智能推薦，千人千面地進(jìn)行觸達(dá)。
• 每次觸達(dá)都需要使用內(nèi)容，因而也就有了內(nèi)容管理，追蹤轉(zhuǎn)化的內(nèi)容歸因。
• 當(dāng)客戶有了潛力之后可能就進(jìn)入客戶管理系統(tǒng)中。
• 涉及到比較復(fù)雜的情況時(shí)，就需要進(jìn)行A/B測試。

實(shí)際上這樣的架構(gòu)還不是一定的，只能說比較相似，神策與巨量引擎的比較相似，友盟咋一眼看上去不相同，但實(shí)際是相似的，只是功能的結(jié)構(gòu)不一樣。友盟相比其他的，多了很多分析的模型，在很多的分析模型上加上一些常規(guī)功能，例如畫像、用戶行為分析，最后組成了一整套的解決方案。

四、我的認(rèn)識(shí)

1. 中小企業(yè)表面臨的一些困境

企業(yè)數(shù)據(jù)氛圍不夠：大多數(shù)企業(yè)已經(jīng)在倡導(dǎo)數(shù)據(jù)說話，但是對(duì)于數(shù)據(jù)的認(rèn)識(shí)不夠，就像一個(gè)初級(jí)的數(shù)據(jù)使用者，對(duì)于數(shù)據(jù)的理解停留在比較表層，拋出幾個(gè)簡單的數(shù)據(jù)，然后就草草完成結(jié)論。這是司空見慣的。這樣的情況，導(dǎo)致這些數(shù)據(jù)本就是比較基礎(chǔ)的，業(yè)務(wù)自己就可以完成數(shù)據(jù)統(tǒng)計(jì)，根本就用不上大數(shù)據(jù)，大數(shù)據(jù)被晾在了一邊。

業(yè)務(wù)疲于完成kpi：如果大數(shù)據(jù)試圖去引導(dǎo)業(yè)務(wù)去使用更細(xì)致的數(shù)據(jù)，此時(shí)在糾纏下可能輸出了一個(gè)方案，但最后很可能效果并不好，業(yè)務(wù)可能看了幾次就放棄了這個(gè)功能。有人可能會(huì)懟說，這應(yīng)該是你們產(chǎn)品的責(zé)任，需求都沒確認(rèn)好?？墒钱a(chǎn)品確實(shí)是與業(yè)務(wù)確認(rèn)過了才開發(fā)的。責(zé)任問題有點(diǎn)難以判定得很清楚，但是我分析一個(gè)比較重要的點(diǎn)是因?yàn)闃I(yè)務(wù)不太在意這個(gè)事情，可能是被推著去做的這么一件事情，口里雖認(rèn)同，心里則不然。另外，業(yè)務(wù)更在意完成kpi，因此可能對(duì)你的方案并不太上心，不想花太多的時(shí)間去處理。

功能影響范圍大：如果每一個(gè)功能的影響范圍都覆蓋全公司，那么大數(shù)據(jù)系統(tǒng)可能很難以迭代起來，推動(dòng)的成本會(huì)很高。此時(shí)更優(yōu)的方案是，先做出一個(gè)功能盡管只有一個(gè)部門使用，但其實(shí)這個(gè)功能是通用的，未來其他部門要是合適用也可以用。

人才缺失：大數(shù)據(jù)的人才也是數(shù)據(jù)平臺(tái)建設(shè)的關(guān)鍵一環(huán)。其是否有寬闊的眼界，能否搭建一套良好的產(chǎn)品架構(gòu)，滿足未來的需求，是影響一個(gè)系統(tǒng)能否走向更好的關(guān)鍵因素。此時(shí)更建議大數(shù)據(jù)人才能夠了解行業(yè)的各種做法，取長補(bǔ)短，吸收行業(yè)的先進(jìn)思想應(yīng)用起來。

一般而言，高層對(duì)于數(shù)據(jù)的理解是比較透徹的，只是一線員工不是都能到達(dá)這個(gè)層面。如果有一些不好推動(dòng)的事情，可以找高層推，這個(gè)基本是最優(yōu)的方法。

2. 關(guān)于產(chǎn)品架構(gòu)

其實(shí)產(chǎn)品架構(gòu)不是固定的。我們可以參考現(xiàn)在的經(jīng)典的架構(gòu)就是如上所述。但就企業(yè)內(nèi)部而言，我覺得可以是這樣的。

標(biāo)簽平臺(tái)：對(duì)于標(biāo)簽的管理，也是數(shù)據(jù)資產(chǎn)的管理，可以讓數(shù)據(jù)像商品一樣上架到超市供業(yè)務(wù)取用。

指標(biāo)平臺(tái)：統(tǒng)一的一套指標(biāo)體系，在此標(biāo)簽體系上進(jìn)行擴(kuò)展。

用戶行為分析：常規(guī)。

用戶畫像：常規(guī)，但我們要思考得更加深入，不能只做靜態(tài)的標(biāo)簽，也要做動(dòng)態(tài)的，而且要充分利用模型，盡量不要買了什么商品就一直打上這個(gè)商品的標(biāo)簽，其實(shí)這樣的做法是比較粗暴的。

舉個(gè)例子說，今天我買了一個(gè)籃球就表示我喜歡籃球嗎，不是的，可能我只是給弟弟買，或者班級(jí)買等等，我們要充分考慮各種情況再給用戶打標(biāo)簽，再深入思考一層，用戶的興趣也是有可能減退的，可能今年我喜歡打籃球但是明年就不一定了。

廣告分析：常規(guī)。

內(nèi)容管理：在這個(gè)內(nèi)容為王的年代，只要你的內(nèi)容能夠吸引流量，那就有很大的機(jī)會(huì)轉(zhuǎn)化。因此對(duì)于內(nèi)容的管理能夠識(shí)別出最優(yōu)的內(nèi)容，幫助企業(yè)做出更好的選擇。

智能推薦：千人千面的，無時(shí)無刻不在創(chuàng)造客戶轉(zhuǎn)化的機(jī)會(huì)。

觸達(dá)：這個(gè)非常重要，可以是運(yùn)營人工設(shè)置一次觸發(fā)，也可以是一個(gè)流程畫布，根據(jù)用戶的行為路徑進(jìn)行一系列的觸達(dá)。

看板：常規(guī)。

總而言之，還是要多思考深入一點(diǎn)，這樣才能挖掘到更多的轉(zhuǎn)化機(jī)會(huì)。不局限于一般的營銷手段，可以大膽地采用算法模型給業(yè)務(wù)賦能，不局限自己的想法，多參考業(yè)內(nèi)先進(jìn)的思想。

3. 參考資料

• 《阿里巴巴云上數(shù)據(jù)中臺(tái)之道》
• 中國信息通信研究院
• 國泰君安證券研究
• 華泰研究
• 《標(biāo)簽類目體系》
• 艾瑞咨詢
• 德本咨詢
• 火山引擎
• 神策
• 友盟