什么是數(shù)據(jù)治理？怎么做數(shù)據(jù)治理？作者結合業(yè)界先進經(jīng)驗及個人實踐經(jīng)歷，進行了介紹分析。

隨著企業(yè)數(shù)據(jù)爆炸式增長，企業(yè)在用數(shù)時，會存在數(shù)據(jù)孤島問題、數(shù)據(jù)建設不規(guī)范、指標口徑不統(tǒng)一、數(shù)據(jù)查詢計算不穩(wěn)定、數(shù)據(jù)安全等問題。因而各個公司也開始了數(shù)據(jù)治理，推動數(shù)據(jù)規(guī)范建設及使用。

接下來草帽小子將開啟數(shù)據(jù)治理的系列篇，結合借鑒業(yè)界先進的數(shù)據(jù)治理經(jīng)驗及個人工作實踐經(jīng)歷，幫助大家系統(tǒng)化地了解數(shù)據(jù)治理。

一、數(shù)據(jù)治理是干什么的

按照國際數(shù)據(jù)管理協(xié)會（DAMA）的定義，數(shù)據(jù)治理是對數(shù)據(jù)資產的管理活動形式權利和控制的活動集合（規(guī)劃、監(jiān)控和執(zhí)行）。

按IBM的定義，數(shù)據(jù)治理是企業(yè)通過不同的策略和標準，提高組織數(shù)據(jù)的可用性、質量和安全性的一整套制度與管理活動，數(shù)據(jù)治理的目標是維護安全且易于訪問的高質量數(shù)據(jù)，以獲取更深入的業(yè)務洞察。

名詞解釋：

1. 元數(shù)據(jù)：描述數(shù)據(jù)的數(shù)據(jù)，例如記錄數(shù)據(jù)的存儲位置、模型定義、血緣關系等信息，類似畫像
2. 主數(shù)據(jù)：描述企業(yè)核心業(yè)務實體的數(shù)據(jù)，例如客戶、產品、賬戶等，主數(shù)據(jù)具有較高的業(yè)務價值，可在企業(yè)內跨各個業(yè)務部門被重復使用

數(shù)據(jù)治理要點是數(shù)據(jù)穩(wěn)定、規(guī)范、安全，就像蓋樓盤一樣，需要設計好樓盤架構，打好地基，制定建設規(guī)范，并推動各團隊人員進行搭建。

二、為什么要做數(shù)據(jù)治理

1. 從發(fā)展階段，看數(shù)據(jù)治理的發(fā)展原因

①第一階段：2005-2009年

2005年左右，早期的數(shù)據(jù)倉庫在中國興起，一開始主要由商業(yè)銀行、通信運營商主導，隨后能源等行業(yè)企業(yè)加入。商業(yè)銀行通過與埃森哲、IBM等國外IT咨詢公司合作，最早將數(shù)據(jù)治理的概念在中國予以實踐。

數(shù)據(jù)倉庫建設涉及從不同來源的平臺中抽取數(shù)據(jù)并進行整合，在這一過程中，需要確保數(shù)據(jù)質量，包括數(shù)據(jù)口徑、數(shù)據(jù)標準和數(shù)據(jù)模型統(tǒng)一等。通過數(shù)據(jù)治理，建立起數(shù)據(jù)標準、數(shù)據(jù)模型等管理體系，能夠提升數(shù)據(jù)質量，確保數(shù)據(jù)倉庫建設順利推進，進而能夠更好地支撐起B(yǎng)I等數(shù)據(jù)分析型應用。

草帽小子：數(shù)據(jù)治理的發(fā)展階段與大數(shù)據(jù)的發(fā)展息息相關，只要涉及大數(shù)據(jù)建設，就勢必有數(shù)據(jù)規(guī)范、數(shù)據(jù)質量、數(shù)據(jù)安全等問題。

②第二階段：2010-2014年

這一階段的數(shù)據(jù)治理需求主要集中于銀行業(yè)，主要由監(jiān)管政策驅動。為了推動中國銀行參加到國際清算體系中，2011年中國推出《銀行監(jiān)管統(tǒng)計數(shù)據(jù)質量管理良好標準》，該標準從組織機構及人員、制度建設、系統(tǒng)保障和數(shù)據(jù)標準、數(shù)據(jù)質量的監(jiān)控、檢查與評價、應用和存儲等方面對銀行數(shù)據(jù)治理提出要求。

草帽小子：銀行等金融機構，對底層數(shù)據(jù)質量的要求更高，并面臨著一定的監(jiān)管壓力，勢必需要數(shù)據(jù)治理

③第三階段：2015-2018年

2015年左右，企業(yè)興起了大數(shù)據(jù)平臺的建設，并且到2018年，數(shù)據(jù)中臺概念流行，數(shù)據(jù)中臺中包含統(tǒng)一資產管理、統(tǒng)一數(shù)據(jù)元管理等與數(shù)據(jù)治理相關的內容。在這個階段，越來越多的企業(yè)開始搭建數(shù)據(jù)治理的專職團隊。

2018年，中國銀保監(jiān)會發(fā)布《銀行業(yè)金融機構數(shù)據(jù)治理指引》，包含數(shù)據(jù)治理架構、數(shù)據(jù)管理、數(shù)據(jù)質量管控、數(shù)據(jù)價值實現(xiàn)。

④第四階段：2019年-至今

2019年以來，企業(yè)數(shù)字化轉型進入快車道，在這一階段，數(shù)據(jù)治理已內化成為企業(yè)機制建設的一部分。

如2020年9月，國資委發(fā)布的《關于加快推進國有企業(yè)數(shù)字化轉型工作的通知》，針對央企數(shù)字化轉型工作，明確提出構建數(shù)據(jù)治理體系的要求。包含明確數(shù)據(jù)治理歸口管理部門，加強數(shù)據(jù)標準化、元數(shù)據(jù)和主數(shù)據(jù)管理工作，定期評估數(shù)據(jù)治理能力成熟度。加強生產現(xiàn)場、服務過程等動態(tài)數(shù)據(jù)采集，建立覆蓋全業(yè)務鏈條的數(shù)據(jù)采集、傳輸和匯聚體系。

B端究竟需要什么样的产品经理？

B端产品经理都是以提升供应侧的工作效率为目的，所以B端需求主要是以业务问题为导向。 这个是B端产品比较重要的一点，B端产品是服务于一个主体 ...

查看详情 >

草帽小子：國家層面推動國有企業(yè)數(shù)據(jù)化，國有企業(yè)會逐步建設數(shù)據(jù)平臺并進行數(shù)據(jù)治理，企業(yè)對數(shù)據(jù)人才的需求仍會不斷增多。

在包括金融、通信、能源、制造等數(shù)據(jù)治理開展相對成熟的行業(yè)，較多企業(yè)都已設置數(shù)據(jù)治理的專職部門和崗位，而且越是數(shù)據(jù)治理成熟的企業(yè)，專職部門越是靠近業(yè)務側，且專職部門級別越高。

2021年工信部發(fā)布的《“十四五”大數(shù)據(jù)產業(yè)發(fā)展規(guī)劃》，以釋放數(shù)據(jù)要素價值為導向，加強數(shù)據(jù)高質量治理。

2. 從現(xiàn)狀問題看數(shù)據(jù)治理對企業(yè)的價值

我們來看阿里云dataworks團隊，在數(shù)據(jù)建設推進與應用中遇到的階段性問題。

①起步階段：數(shù)據(jù)量與穩(wěn)定性的矛盾

隨著數(shù)據(jù)量的增長，數(shù)據(jù)穩(wěn)定性不足，任務調度隨著規(guī)模增大經(jīng)常掛掉，集群計算資源不足，問題處理時間長。

②應用階段：數(shù)據(jù)普惠與使用效率的矛盾

在數(shù)據(jù)應用時，使用數(shù)據(jù)的人增多，數(shù)倉人員疲于取數(shù)，數(shù)據(jù)團隊壓力增大，數(shù)倉建設會逐步變得混亂，反而會阻礙后續(xù)使用數(shù)據(jù)效率。

③規(guī)模階段：靈活便捷與風險管控

數(shù)據(jù)出口多，人為泄露行為管控難，安全保障有待提高，各類數(shù)據(jù)安全的管理動作，往往會與效率背道而馳，數(shù)據(jù)分類分級難度高。

④成熟階段：業(yè)務變化與成本治理的矛盾

數(shù)據(jù)成本壓力大，不知道數(shù)據(jù)成本在哪，數(shù)據(jù)不敢刪、任務不敢下。

草帽小子：國有企業(yè)在政策的指引下，逐漸推動數(shù)字化轉型、數(shù)據(jù)治理；私營企業(yè)在業(yè)務數(shù)據(jù)不斷增長的驅動下，逐漸推動數(shù)據(jù)治理。

3. 不同類型企業(yè)如何做數(shù)據(jù)治理

傳統(tǒng)企業(yè)的數(shù)據(jù)治理跟數(shù)字化轉型息息相關，數(shù)據(jù)治理動作往往融入了數(shù)據(jù)化建設的每個環(huán)節(jié)中。

（1）互聯(lián)網(wǎng)

以阿里為例，阿里建設社dataworks大數(shù)據(jù)開發(fā)治理平臺，建設的能力包括指標數(shù)倉規(guī)范設計、數(shù)據(jù)分析、元數(shù)據(jù)管理、數(shù)據(jù)安全管理等能力。

（2）能源

包含煤炭、電力、光伏、電站等，如國家電網(wǎng)、中石化等。

能源行業(yè)如電力的數(shù)據(jù)治理，不能單純以數(shù)據(jù)質量、血緣分析、元數(shù)據(jù)管理等傳統(tǒng)IT技術為主，需要在數(shù)據(jù)治理中緊密結合業(yè)務，與各個業(yè)務環(huán)節(jié)緊密配合。

例如：設備檢修：電網(wǎng)公司通過對設備運行的海量數(shù)據(jù)挖掘，開展預測性檢修的研究，以較高的準確率預測出設備運行的未來狀態(tài)，預判設備發(fā)生故障的可能性，從而達到基于設備狀態(tài)來指導檢修的目的。

常見的挑戰(zhàn)，包含：

• 數(shù)據(jù)類型多：電力行業(yè)廣泛部署的物聯(lián)網(wǎng)設備，產生了格式不同、頻率不同、定義不同的多源異構數(shù)據(jù)
• 海量數(shù)據(jù)，時效性強：電力的產生、傳輸與消費情況瞬息萬變，片刻間便能產生海量的數(shù)據(jù)資源，如何及時獲取、可靠存儲、快速計算？
• 數(shù)據(jù)鏈路長：能源價值鏈整合的參與者眾多，價值活動之間存在緊密聯(lián)系，各方數(shù)據(jù)交互標準、質量、規(guī)范如何有效把握？

關鍵治理方式，包含：

• 自動采集各類數(shù)據(jù)資產信息：根據(jù)不同的數(shù)據(jù)源，開發(fā)不同的采集適配器，實現(xiàn)不同種類的數(shù)據(jù)自動化采集
• 全面管理企業(yè)數(shù)據(jù)資產：在實現(xiàn)企業(yè)元數(shù)據(jù)、技術元數(shù)據(jù)、模型元數(shù)據(jù)的全面采集后，企業(yè)做好整體數(shù)據(jù)資產的梳理、數(shù)據(jù)質量的管理
• 數(shù)據(jù)資產服務化：提供自助查詢服務、自動獲取數(shù)據(jù)服務

（3）金融

金融數(shù)據(jù)治理是金融行業(yè)數(shù)字化轉型的重要切入點，也是推動金融業(yè)從高速增長向高質量發(fā)展轉變的關鍵點。銀保監(jiān)會發(fā)布的《銀行金融機構數(shù)據(jù)治理指引》，從數(shù)據(jù)治理團隊、數(shù)據(jù)管理的標準、數(shù)據(jù)質量管控、數(shù)據(jù)價值實現(xiàn)等方面展開。

金融數(shù)據(jù)治理的常見的挑戰(zhàn)，包含：

• 數(shù)據(jù)價值發(fā)現(xiàn)和數(shù)據(jù)信息保護的矛盾：《數(shù)據(jù)安全法》、《個人信息保護法》陸續(xù)實施，要求金融從業(yè)機構將個人客戶信息安全、隱私保護，貫穿在數(shù)據(jù)采集與應用的全過程。
• 金融如銀行機構，存在各地分行多，經(jīng)營數(shù)據(jù)割裂，數(shù)據(jù)流通困難等問題

關鍵治理方式：

• 治理服務化：管理理念轉為服務理念，通過提供便利的工具或服務，全面為業(yè)務提供服務。
• 治理流程化：結合開發(fā)流程，將數(shù)據(jù)模型、數(shù)據(jù)字典管理流程化，從數(shù)據(jù)源頭落實數(shù)據(jù)標準。
• 治理場景化：與監(jiān)管報送相結合，全流程監(jiān)控報送質量。
• 標準開放化：構建數(shù)據(jù)標準運營體系，探索更多開放共享場景，應用數(shù)據(jù)治理成果。
• 資產智能化：構建智能數(shù)據(jù)資產管理，結合先進技術，全面釋放數(shù)據(jù)價值。

4. 數(shù)據(jù)人才的機會

在國家推動企業(yè)數(shù)字化轉型的趨勢下，不僅僅是互聯(lián)網(wǎng)企業(yè)需要進行數(shù)據(jù)人才，較多傳統(tǒng)企業(yè)包括能源、通信、金融、制造等也需數(shù)據(jù)人才。

企業(yè)信息化、數(shù)據(jù)化的程度不同，所面臨的問題也不同，所需數(shù)據(jù)人才的能力側重點也會有所差異。但在整體數(shù)字化推進時，也會需要一定的通用能力，如數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)計算、數(shù)據(jù)治理、數(shù)據(jù)應用等。

因而，個人在工作實踐上，可不斷增長對大數(shù)據(jù)平臺，各個模塊的實踐與了解，盡可能掌握整個大數(shù)據(jù)體系；同時可放眼外界，多對比了解不同行業(yè)的數(shù)字化建設差異。