談?wù)剶?shù)據(jù)治理:怎么做元數(shù)據(jù)管理?
上一篇文章《談?wù)剶?shù)據(jù)治理是什么?》中,筆者有大概的介紹了下數(shù)據(jù)治理是什么,整體包含了哪些方面。接來下將詳細(xì)介紹下數(shù)據(jù)治理每個(gè)模塊的內(nèi)容,以及怎么做。
本篇文章主要是談下元數(shù)據(jù)管理,對(duì)于元數(shù)據(jù)的一些概念我再簡(jiǎn)單地介紹下:
- 元數(shù)據(jù)是什么——簡(jiǎn)單的來說:它是數(shù)據(jù)的數(shù)據(jù)。
- 元數(shù)據(jù)的分類——技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、管理元數(shù)據(jù)、
- 元數(shù)據(jù)管理是什么——它是對(duì)元數(shù)據(jù)的創(chuàng)建、存儲(chǔ)、整合、控制的一整套流程,能夠支持基于元數(shù)據(jù)的相關(guān)需求和應(yīng)用。
- 那元數(shù)據(jù)管理的好處是什么——它能夠讓開發(fā)和業(yè)務(wù)人員快速的了解數(shù)據(jù)的上下游關(guān)系及本身的含義,精準(zhǔn)定位需要查找的數(shù)據(jù),減少數(shù)據(jù)研究的時(shí)間成本,提高效率。
那在項(xiàng)目中元數(shù)據(jù)管理該怎么做呢?
01 元數(shù)據(jù)范圍
首先確定元數(shù)據(jù)來源范圍,在實(shí)際的工作中,不是所有數(shù)據(jù)都是要做元數(shù)據(jù)管理,通常我們會(huì)選擇業(yè)務(wù)數(shù)據(jù)做元數(shù)據(jù)管理,非業(yè)務(wù)數(shù)據(jù)(例如:備份數(shù)據(jù)、系統(tǒng)日志等)是不會(huì)納入管理范圍內(nèi),主要還是因?yàn)樵獢?shù)據(jù)管理是提供業(yè)務(wù)和開發(fā)人員快速掌握業(yè)務(wù)數(shù)據(jù)。
確定規(guī)則后,就要結(jié)合公司的實(shí)際情況去梳理出哪些業(yè)務(wù)系統(tǒng)、哪些數(shù)據(jù)庫、哪些數(shù)據(jù)庫用戶、哪些表需要做元數(shù)據(jù)管理。當(dāng)然也可以支持非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)抽取,例如:word、pdf等。
02 元數(shù)據(jù)接入
元數(shù)據(jù)從哪接入,一般都是從源系統(tǒng)接入,假如公司已經(jīng)存在數(shù)倉或者實(shí)時(shí)性要求不高,為了節(jié)約開發(fā)工作量,對(duì)于已有的元數(shù)據(jù)會(huì)從數(shù)倉接入,還未接入的會(huì)從源系統(tǒng)進(jìn)行接入。
但這種方案也是存在風(fēng)險(xiǎn),假如數(shù)倉的數(shù)據(jù)和源系統(tǒng)出現(xiàn)不一致,就會(huì)導(dǎo)致元數(shù)據(jù)出錯(cuò)?,F(xiàn)在大部分的元數(shù)據(jù)抽取都是采用配置自動(dòng)化的方式進(jìn)行。
03 元數(shù)據(jù)標(biāo)準(zhǔn)
在梳理的過程中可能會(huì)出現(xiàn)有些數(shù)據(jù)庫或者有些數(shù)據(jù)定義不規(guī)范的情況,導(dǎo)致元數(shù)據(jù)管理無法進(jìn)行下去。那接下來需要建立元數(shù)據(jù)的管理規(guī)范,去反推前端的源數(shù)據(jù)進(jìn)行整改,主要是保證元數(shù)據(jù)的完整性和一致性。
針對(duì)不同的類型的公司要求,元數(shù)據(jù)會(huì)開放給不同的人群,所以要對(duì)元數(shù)據(jù)進(jìn)行權(quán)限管理,規(guī)范里面就需定義權(quán)限的管理流程:元數(shù)據(jù)的權(quán)限分層、元數(shù)據(jù)權(quán)限申請(qǐng)流程、元數(shù)據(jù)的發(fā)布流程、元數(shù)據(jù)的審核流程。
我的公司將元數(shù)據(jù)分為業(yè)務(wù)和技術(shù)兩個(gè)管理屬性,技術(shù)人員可以查看全域元數(shù)據(jù),業(yè)務(wù)人員只能查看自己所對(duì)應(yīng)業(yè)務(wù)流程的元數(shù)據(jù),如要查看其他業(yè)務(wù)流程的元數(shù)據(jù),需進(jìn)行申請(qǐng),申請(qǐng)流程要過元數(shù)據(jù)對(duì)應(yīng)的業(yè)務(wù)和技術(shù)屬主。
04 元數(shù)據(jù)維護(hù)
元數(shù)據(jù)維護(hù)主要是對(duì)已經(jīng)發(fā)布的元數(shù)據(jù)進(jìn)行維護(hù)管理,已經(jīng)發(fā)布上線的元數(shù)據(jù),如需調(diào)整、優(yōu)化則必須重新走元數(shù)據(jù)發(fā)布流程,不準(zhǔn)許對(duì)元數(shù)據(jù)進(jìn)行直接修改。為了安全,元數(shù)據(jù)所有操作行為都要記錄到元數(shù)據(jù)操作日志里面。
可以對(duì)元數(shù)據(jù)創(chuàng)建目錄將不同的元數(shù)據(jù)掛在對(duì)應(yīng)的目錄下,按照業(yè)務(wù)流程、業(yè)務(wù)主題域、開發(fā)流程設(shè)計(jì)對(duì)應(yīng)的目錄,主要還是根據(jù)公司要求設(shè)計(jì)。
05 元數(shù)據(jù)查找、分析、報(bào)告
有單獨(dú)的頁面支持元數(shù)據(jù)的模糊或精準(zhǔn)快速查找,通過輸入關(guān)鍵信息查找對(duì)應(yīng)的元數(shù)據(jù)。我所在的公司將元數(shù)據(jù)作為數(shù)據(jù)資產(chǎn)的一類,因此我們需要產(chǎn)出元數(shù)據(jù)資產(chǎn)報(bào)告,從報(bào)告中能夠快速的了解元數(shù)據(jù)訪問熱度、數(shù)據(jù)價(jià)值、數(shù)據(jù)成本、數(shù)據(jù)分布等相關(guān)信息。
分析這塊上一篇文章就有提到,主要是血緣分析,做血緣分析的兩種方法。血緣分析對(duì)做關(guān)聯(lián)影響分析很重要,尤其是剛進(jìn)來的開發(fā)或者業(yè)務(wù)不了解數(shù)據(jù),通過血緣分析能夠快速的定位、分析數(shù)據(jù)。
本文由 @木子姐 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
mark
有具體的例子,來說明一下元數(shù)據(jù)嗎?
現(xiàn)在知道元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù),也了解元數(shù)據(jù)是需要管理的,那元數(shù)據(jù)具體起什么樣的作用?
元數(shù)據(jù)在具體的數(shù)據(jù)分析中起什么作用?
大家期待已久的《數(shù)據(jù)產(chǎn)品經(jīng)理實(shí)戰(zhàn)訓(xùn)練營(yíng)》終于在起點(diǎn)學(xué)院(人人都是產(chǎn)品經(jīng)理旗下教育機(jī)構(gòu))上線啦!經(jīng)過迭代優(yōu)化,現(xiàn)在已經(jīng)第7期開啟報(bào)名啦
本課程非常適合新手?jǐn)?shù)據(jù)產(chǎn)品經(jīng)理,或者想要轉(zhuǎn)崗的產(chǎn)品經(jīng)理、數(shù)據(jù)分析師、研發(fā)、產(chǎn)品運(yùn)營(yíng)等人群。
課程會(huì)從基礎(chǔ)概念,到核心技能,再通過典型數(shù)據(jù)分析平臺(tái)的實(shí)戰(zhàn),幫助大家構(gòu)建完整的知識(shí)體系,掌握數(shù)據(jù)產(chǎn)品經(jīng)理的基本功。
學(xué)完后你會(huì)掌握怎么建指標(biāo)體系、指標(biāo)字典,如何設(shè)計(jì)數(shù)據(jù)埋點(diǎn)、保證數(shù)據(jù)質(zhì)量,規(guī)劃大數(shù)據(jù)分析平臺(tái)等實(shí)際工作技能~
現(xiàn)在就添加空空老師(微信id:anne012520),咨詢課程詳情并領(lǐng)取福利優(yōu)惠吧!
有點(diǎn)概括啊,有沒有詳細(xì)一點(diǎn)的說明。 ?
應(yīng)你的要求,我整理一篇詳細(xì)點(diǎn)的 ??