不同部分的崗位，都面臨著需要拿數(shù)據(jù)的時(shí)候，即便拿到了數(shù)據(jù)，但又常常出錯(cuò)，若出現(xiàn)這樣的場景，說明需要該改造一下你們的數(shù)據(jù)平臺(tái)了。本文總結(jié)了如何搭建高效的數(shù)據(jù)平臺(tái)的步驟，希望對(duì)你有所幫助。

引言

作為產(chǎn)品經(jīng)理，你剛上線一個(gè)功能，想讓研發(fā)幫你把數(shù)據(jù)拉出來進(jìn)行分析，卻被告知需要排期。

作為數(shù)據(jù)研發(fā)，每天有查不完的數(shù)據(jù)和寫不完的表，工作能力沒有任何提升。

作為數(shù)據(jù)分析師，你每天被業(yè)務(wù)的老大催著要各種報(bào)表和看板。

作為業(yè)務(wù)部門，你需要的數(shù)據(jù)遲遲拿不到，即使拿到了也經(jīng)常出現(xiàn)錯(cuò)誤。

在公司，你是否有遇到過這樣的場景？如果有，說明是時(shí)候該改造一下你們的數(shù)據(jù)平臺(tái)了。

一、什么是數(shù)據(jù)中臺(tái)

那什么又是數(shù)據(jù)中臺(tái)呢？數(shù)據(jù)中臺(tái)顧名思義就是把數(shù)據(jù)進(jìn)行統(tǒng)一管理的平臺(tái)。它是把公司所有的數(shù)據(jù)，包括業(yè)務(wù)運(yùn)行產(chǎn)生的數(shù)據(jù)、用戶的行為數(shù)據(jù)、以及外部第三方的數(shù)據(jù)，進(jìn)行統(tǒng)一的、規(guī)范的、完整的、準(zhǔn)確的采集、存儲(chǔ)、加工、管理，并且為前臺(tái)業(yè)務(wù)提供數(shù)據(jù)服務(wù)的平臺(tái)。可以把它理解為倉庫的貨架，而數(shù)據(jù)就是貨架上的貨物，被分門別類的擺放在貨架之上。

二、數(shù)據(jù)中臺(tái)的價(jià)值

那它又有什么價(jià)值呢？第一，打通數(shù)據(jù)孤島，一般企業(yè)都會(huì)有多條業(yè)務(wù)線，不同業(yè)務(wù)線數(shù)據(jù)存儲(chǔ)在不同數(shù)據(jù)庫。

第二，降低數(shù)據(jù)開發(fā)成本，數(shù)據(jù)中臺(tái)的可拓展性強(qiáng)和維護(hù)成本低。

第三，數(shù)據(jù)統(tǒng)一規(guī)范管理后，數(shù)據(jù)的準(zhǔn)確性和時(shí)效性都會(huì)得到極大的提升。

第四，數(shù)據(jù)資產(chǎn)得到沉淀，可發(fā)揮的價(jià)值和潛力無限。如用戶畫像、標(biāo)簽體系、個(gè)性化推薦、趨勢(shì)預(yù)測(cè)等等。

三、數(shù)據(jù)中臺(tái)構(gòu)建的步驟

如果你們公司要準(zhǔn)備搭建數(shù)據(jù)中臺(tái)，又該如何下手呢？首先我們需要知道數(shù)據(jù)中臺(tái)由哪幾個(gè)部門組成，通常我們會(huì)說數(shù)據(jù)中臺(tái)是負(fù)責(zé)數(shù)據(jù)的“采、存、管、用”，即數(shù)據(jù)的采集、存儲(chǔ)、管理和應(yīng)用。

• 數(shù)據(jù)采集：分為實(shí)時(shí)采集和離線采集，將各個(gè)來源的數(shù)據(jù)同步到數(shù)倉中。一般的數(shù)據(jù)源有業(yè)務(wù)數(shù)據(jù)庫、第三方API數(shù)據(jù)以及外部采集的非結(jié)構(gòu)數(shù)據(jù)。
• 數(shù)據(jù)存儲(chǔ)：數(shù)據(jù)同步導(dǎo)入會(huì)存儲(chǔ)到HDFS，Hive、Flink、Spark等計(jì)算引擎任務(wù)讀取HDFS中的數(shù)據(jù)計(jì)算后再將計(jì)算結(jié)果寫入HDFS。
• 數(shù)據(jù)管理：分為元數(shù)據(jù)管理和數(shù)據(jù)模型管理，元數(shù)據(jù)可以理解為各個(gè)數(shù)據(jù)表的原子字段，數(shù)據(jù)模型是在數(shù)據(jù)建模過程中，通過既定的數(shù)據(jù)模型管理制度，實(shí)現(xiàn)對(duì)數(shù)據(jù)模型的增刪改查管理，同時(shí)遵循數(shù)據(jù)標(biāo)準(zhǔn)化與數(shù)據(jù)統(tǒng)一性的要求，確保數(shù)據(jù)質(zhì)量。
• 數(shù)據(jù)應(yīng)用：常見的數(shù)據(jù)應(yīng)用有BI報(bào)表平臺(tái)、用戶畫像（標(biāo)簽體系）、數(shù)字化營銷（包含推薦、搜索）等等。

其次，作為產(chǎn)品經(jīng)理應(yīng)如何開展工作。

第一步：先明確目前公司的數(shù)據(jù)現(xiàn)狀，存在哪些問題？是時(shí)效性低還是數(shù)據(jù)準(zhǔn)確性低？或者又是業(yè)務(wù)量日益增長，當(dāng)下數(shù)據(jù)應(yīng)用為業(yè)務(wù)賦能有限？根據(jù)當(dāng)前的問題確定這次數(shù)據(jù)中臺(tái)建設(shè)的目標(biāo)。

第二步：調(diào)研公司目前的業(yè)務(wù)范圍，涉及到哪些數(shù)據(jù)范圍？可以根據(jù)業(yè)務(wù)類型進(jìn)行分類，劃分成相對(duì)獨(dú)立的數(shù)據(jù)模塊，如流量域、交易域、商品域等。一般是以源系統(tǒng)為切入點(diǎn)，從常用的系統(tǒng)入手如CRM系統(tǒng)、ERP系統(tǒng)、訂單系統(tǒng)等，通過對(duì)各系統(tǒng)的數(shù)據(jù)梳理，完成總體結(jié)構(gòu)的劃分。

第三步：尋找數(shù)據(jù)規(guī)則來源，很多系統(tǒng)沒有標(biāo)準(zhǔn)的數(shù)據(jù)文檔，就只能去找系統(tǒng)的負(fù)責(zé)人、產(chǎn)品經(jīng)理或者開發(fā)人員對(duì)接，詢問相關(guān)的數(shù)據(jù)規(guī)則正確性。另一方面，還需要在這個(gè)過程中明確數(shù)據(jù)服務(wù)的相關(guān)業(yè)務(wù)方，以便同步數(shù)據(jù)規(guī)則與業(yè)務(wù)邏輯的一致性。

第四步：進(jìn)行數(shù)據(jù)邏輯的規(guī)劃，這是數(shù)據(jù)體系的核心內(nèi)容，也是數(shù)據(jù)建模的主要內(nèi)容，需要通過數(shù)據(jù)模型完成各數(shù)據(jù)主題與數(shù)據(jù)表之間的關(guān)系設(shè)計(jì)。

一般主流數(shù)據(jù)建模的方法有兩種。

一種是E-R建模，即實(shí)體、屬性、關(guān)系三元組建模，常用于OLTP數(shù)據(jù)庫建模，缺點(diǎn)是需要全面梳理公司所有業(yè)務(wù)和數(shù)據(jù)，周期長，人員要求高；

另一種是緯度建模，是面向分析場景而生，主要用于數(shù)據(jù)倉庫構(gòu)建喝OLAP引擎底層數(shù)據(jù)模型，優(yōu)點(diǎn)不需要完整的梳理業(yè)務(wù)流程和數(shù)據(jù)，實(shí)施周期根據(jù)數(shù)據(jù)主題邊界而定，容易快速實(shí)現(xiàn)demo。

第五步：完善數(shù)據(jù)信息，確定數(shù)據(jù)范圍和邏輯模型之后，還需要明確數(shù)據(jù)字典中個(gè)數(shù)據(jù)的基礎(chǔ)定義、統(tǒng)計(jì)口徑與業(yè)務(wù)定義，從而讓數(shù)據(jù)字典成為標(biāo)準(zhǔn)的執(zhí)行文檔。

四、數(shù)據(jù)中臺(tái)的行業(yè)應(yīng)用

金融行業(yè)：

• 風(fēng)控：數(shù)據(jù)中臺(tái)打通不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，可以提高風(fēng)控的準(zhǔn)確性和效率。通過多維數(shù)據(jù)的分析，可以對(duì)用戶的風(fēng)險(xiǎn)水平和信用評(píng)估進(jìn)行更加準(zhǔn)確和全面的判斷和預(yù)測(cè)。
• 個(gè)性化推薦：數(shù)據(jù)中臺(tái)可以通過建立用戶畫像，對(duì)用戶進(jìn)行多維度的分析和挖掘，為用戶推薦更加符合其需求和偏好的產(chǎn)品和服務(wù)，提高用戶的滿意度和忠誠度。
• 營銷推廣：通過數(shù)據(jù)中臺(tái)的用戶畫像和多維數(shù)據(jù)分析，可以對(duì)用戶進(jìn)行精準(zhǔn)的營銷推廣，提高銷售轉(zhuǎn)化率和用戶參與度。同事，通過數(shù)據(jù)的分析和挖掘，可以為營銷活動(dòng)提供數(shù)據(jù)支持和準(zhǔn)確的預(yù)測(cè)分析。
• 產(chǎn)品設(shè)計(jì)：通過分析和挖掘用戶行為數(shù)據(jù)，可以對(duì)金融產(chǎn)品的市場需求和受眾進(jìn)行深入理解，優(yōu)化產(chǎn)品設(shè)計(jì)和功能設(shè)置，提升產(chǎn)品品質(zhì)和用戶體驗(yàn)。
• 決策支持：數(shù)據(jù)中臺(tái)可以提供有效的數(shù)據(jù)支持和多維數(shù)據(jù)分析，幫助企業(yè)后盾決策和業(yè)務(wù)轉(zhuǎn)型。同時(shí)，也可以通過數(shù)據(jù)挖掘和分析，發(fā)掘新的商業(yè)機(jī)會(huì)和創(chuàng)新點(diǎn)，推動(dòng)企業(yè)在數(shù)字化領(lǐng)域的發(fā)展和競爭優(yōu)勢(shì)的提升。

泛零售行業(yè)：

• 供應(yīng)鏈管理：數(shù)據(jù)中臺(tái)通過打通采購、運(yùn)營、銷售等系統(tǒng)的數(shù)據(jù)，進(jìn)行數(shù)字化的供應(yīng)鏈管理，實(shí)現(xiàn)從數(shù)據(jù)采集、匯聚、清洗、調(diào)度到數(shù)據(jù)質(zhì)量管理的全流程工具化和平臺(tái)化。
• 綜合分析：數(shù)據(jù)中臺(tái)可實(shí)現(xiàn)跨業(yè)務(wù)域、跨渠道、跨產(chǎn)品、跨區(qū)域的綜合分析，幫助企業(yè)全面了解用戶需求和消費(fèi)行為，通過數(shù)字媒介開展業(yè)務(wù)和觸點(diǎn)布局，進(jìn)行精細(xì)化運(yùn)營。
• 用戶畫像：數(shù)據(jù)中臺(tái)可以通過多維度數(shù)據(jù)采集，捕獲用戶行為，建立精準(zhǔn)的用戶畫像，幫助企業(yè)更好地了解用戶需求，提供個(gè)性化的產(chǎn)品和服務(wù)，提升用戶體驗(yàn)。
• 決策支持：數(shù)據(jù)中臺(tái)通過實(shí)時(shí)數(shù)據(jù)采集和分析，為企業(yè)提供決策支持，幫助企業(yè)優(yōu)化業(yè)務(wù)流程、產(chǎn)品設(shè)計(jì)和服務(wù)體驗(yàn)，提高運(yùn)營效率。
• 營銷推廣：數(shù)據(jù)中臺(tái)可以對(duì)用戶行為進(jìn)行大數(shù)據(jù)分析，進(jìn)行精準(zhǔn)的營銷推廣，提高銷售轉(zhuǎn)化率和用戶滿意度。

政務(wù)行業(yè)：

• 智慧城市建設(shè)：數(shù)據(jù)中臺(tái)通過收集和整合城市內(nèi)部各種數(shù)據(jù)，如地圖信息、公共設(shè)施、交通狀態(tài)、氣象信息等，建立城市的綜合性管理平臺(tái)，實(shí)現(xiàn)城市的數(shù)字化和智能化管理。
• 社保與醫(yī)療：數(shù)據(jù)中臺(tái)可以幫助政府和相關(guān)部門實(shí)現(xiàn)社保和醫(yī)療數(shù)據(jù)的收集和整合，提高社保和醫(yī)療服務(wù)的覆蓋性和質(zhì)量，減少數(shù)據(jù)碎片化和防止信息孤島的出現(xiàn)。
• 公共安全：數(shù)據(jù)中臺(tái)可以通過整合公安部門、消防部門、衛(wèi)生部門等部門的數(shù)據(jù)，提高公共安全的監(jiān)測(cè)和管控能力，減少事故發(fā)生率和提高事故應(yīng)急處理效率。
• 政策制定：數(shù)據(jù)中臺(tái)可以為政府決策部門提供準(zhǔn)確的數(shù)據(jù)支持，幫助政府更好地了解公眾需求和社會(huì)狀況，提供科學(xué)的決策依據(jù)，提高政策實(shí)施的有效性和精準(zhǔn)度。
• 環(huán)境保護(hù)：數(shù)據(jù)中臺(tái)通過統(tǒng)計(jì)和分析環(huán)境相關(guān)數(shù)據(jù)，如氣象、氣體排放等數(shù)據(jù)，幫助環(huán)保部門和政府監(jiān)控城市環(huán)境的變化和污染狀況，實(shí)現(xiàn)環(huán)境保護(hù)工作的精細(xì)化管理。

五、數(shù)據(jù)中臺(tái)的發(fā)展趨勢(shì)

趨勢(shì)一：云原生

技術(shù)與業(yè)務(wù)共同驅(qū)動(dòng)數(shù)據(jù)中臺(tái)走向云原生，但很多所謂的“云原生”仍是對(duì)傳統(tǒng)單體架構(gòu)的改造，實(shí)現(xiàn)資源完全彈性擴(kuò)展仍有待提高。存算分離是大數(shù)據(jù)低成本落地的保障，并將是真正云原生的顯著特征。數(shù)據(jù)中臺(tái)中的重要組件將遵循存算分離架構(gòu)，云原生技術(shù)具有天然的對(duì)象體系、容器化編排、CI/CD、跨云多域數(shù)據(jù)治理等特性，可以滿足企業(yè)客戶對(duì)數(shù)據(jù)安全、合規(guī)數(shù)據(jù)合作技術(shù)等需求，推動(dòng)數(shù)據(jù)中臺(tái)走向云原生。

趨勢(shì)二：數(shù)智融合

數(shù)智融合是構(gòu)建數(shù)據(jù)治理和AI開發(fā)的統(tǒng)一底座，讓數(shù)據(jù)和人工智能相互作用。其中，Data for AI 通過對(duì)元數(shù)據(jù)統(tǒng)一管理，打通數(shù)據(jù)分析與AI模型引擎，實(shí)現(xiàn)基于一份數(shù)據(jù)多模分析，提升數(shù)據(jù)驅(qū)動(dòng)決策的準(zhǔn)確性和可信性；AI for Data 將人工智能算法模型的能力植入到數(shù)據(jù)治理，實(shí)現(xiàn)自動(dòng)發(fā)現(xiàn)數(shù)據(jù)管理的規(guī)則。這種數(shù)據(jù)與AI的結(jié)合方式能夠有效提升數(shù)據(jù)治理的智能化水平，并降低數(shù)據(jù)治理門檻。

趨勢(shì)三：泛中臺(tái)化

5G時(shí)代的到來，人工智能、物聯(lián)網(wǎng)等創(chuàng)新技術(shù)不斷發(fā)展。隨著多設(shè)備接入、多系統(tǒng)數(shù)據(jù)融合互聯(lián)互通，形成新的數(shù)據(jù)孤 島，對(duì)企業(yè)的智能用數(shù)發(fā)起新的挑戰(zhàn)。

值此時(shí)刻，數(shù)據(jù)中臺(tái)的理念體系逐漸完善，相關(guān)產(chǎn)品、規(guī)范以及標(biāo)準(zhǔn)也趨向統(tǒng)一， 落地經(jīng)驗(yàn)也得到積累，大數(shù)據(jù)項(xiàng)目紛紛與數(shù)據(jù)中臺(tái)結(jié)合，數(shù)據(jù)中臺(tái)開始從概念熱點(diǎn)向項(xiàng)目起點(diǎn)轉(zhuǎn)變。隨著企業(yè)對(duì)中臺(tái)認(rèn)知 的增強(qiáng)，業(yè)務(wù)場景需求的解決方案/產(chǎn)品也趨于“中臺(tái)化”： IoT中臺(tái)、算法中臺(tái)、研發(fā)中臺(tái)、組織中臺(tái)、AI中臺(tái)等中臺(tái) 產(chǎn)品體系不斷豐富。

以IoT中臺(tái)為例，是相對(duì)數(shù)據(jù)中臺(tái)層次更上的抽象和高級(jí)，包含了采集平臺(tái)、通信中臺(tái)和數(shù)據(jù)中臺(tái)的 全部特性，支持除數(shù)據(jù)分析、處理、交易等抽象業(yè)務(wù)服務(wù)外的采集和通信能力，相對(duì)數(shù)據(jù)中臺(tái)更加貼合企業(yè)業(yè)務(wù)場景，為 未來智慧城市建設(shè)提供更加深入和精細(xì)化的基礎(chǔ)能力。

數(shù)據(jù)中臺(tái)是一個(gè)非常龐大的系統(tǒng)，每一個(gè)部分單獨(dú)拿出來講都可以講很多，而這遍文章只是拋磚引玉，是對(duì)過去學(xué)習(xí)到的關(guān)于數(shù)據(jù)中臺(tái)知識(shí)的簡單總結(jié)，對(duì)于想要知道數(shù)據(jù)中臺(tái)大概是什么、解決什么問題有個(gè)整體的初步了解，關(guān)于數(shù)據(jù)建模、數(shù)據(jù)指標(biāo)體系建設(shè)、數(shù)倉搭建、BI可視化等后面可以再詳細(xì)展開寫一寫。