數(shù)字化轉(zhuǎn)型主要包括業(yè)務(wù)數(shù)字化、數(shù)據(jù)資產(chǎn)化、資產(chǎn)業(yè)務(wù)化、業(yè)務(wù)智能化幾個(gè)階段。在不同的階段，分別需要哪些數(shù)據(jù)產(chǎn)品呢？作者在本篇文章中進(jìn)行了逐一的盤點(diǎn)，希望可以為各位伙伴的數(shù)字化轉(zhuǎn)型過程中數(shù)據(jù)產(chǎn)品規(guī)劃提供參考，一起來看看吧。

數(shù)字化轉(zhuǎn)型主要包括業(yè)務(wù)數(shù)字化、數(shù)據(jù)資產(chǎn)化、資產(chǎn)業(yè)務(wù)化、業(yè)務(wù)智能化幾個(gè)階段。在不同的階段，分別需要哪些數(shù)據(jù)產(chǎn)品呢？

今天就逐一盤點(diǎn)一下，希望可以為各位老板的數(shù)字化轉(zhuǎn)型過程中數(shù)據(jù)產(chǎn)品規(guī)劃提供參考，主要是以模塊規(guī)劃為主。

一、數(shù)據(jù)采集相關(guān)產(chǎn)品

數(shù)字化包含兩層含義，其一是線上化，也就是把過去線下的、手工的低效業(yè)務(wù)過程線上化流程化，以提升人效，同時(shí)建立數(shù)據(jù)采集的基礎(chǔ)。其二是數(shù)據(jù)化，把線上化的業(yè)務(wù)流程數(shù)據(jù)采集下來，為后期的業(yè)務(wù)化、智能化提供基礎(chǔ)數(shù)據(jù)源。所以，在數(shù)據(jù)采集環(huán)境，主要涉及的數(shù)據(jù)產(chǎn)品包括：

1. 數(shù)據(jù)采集范圍與標(biāo)準(zhǔn)定義（必須）

互聯(lián)網(wǎng)行業(yè)畢竟熟悉埋點(diǎn)一詞，埋點(diǎn)也是很多公司的“痛”。埋點(diǎn)不規(guī)范，數(shù)據(jù)兩行淚。先污染后治理勢必帶來后期數(shù)據(jù)應(yīng)用清洗的資源浪費(fèi)。所以，為了減少踩坑，需要事先確立不同數(shù)據(jù)源、數(shù)據(jù)類型的數(shù)據(jù)采集規(guī)范，針對App、小程序等產(chǎn)品需要建立統(tǒng)一埋點(diǎn)規(guī)范和采集方案，其他的智能硬件、傳感器設(shè)備或者三方數(shù)據(jù)源，需求定義不同來源的數(shù)據(jù)傳輸格式。

2. 埋點(diǎn)管理系統(tǒng)（可選）

將埋點(diǎn)規(guī)范集成到數(shù)據(jù)管理后臺中，讓整個(gè)埋點(diǎn)流程線上化流轉(zhuǎn)，提升埋點(diǎn)工作的規(guī)范化程度，減少漏埋和錯(cuò)埋。即使像一些用戶行為分析系統(tǒng)力推的無埋點(diǎn)或可視化埋點(diǎn)，也都有埋點(diǎn)數(shù)據(jù)管理模塊提供界面化的指標(biāo)定義能力。早期的埋點(diǎn)規(guī)則主要靠excel世代相傳

3. 數(shù)據(jù)同步或集成系統(tǒng)（必須）

這一模塊既可以單獨(dú)存在，也可以和大數(shù)據(jù)開發(fā)平臺耦合，其主要作用是提供源到端的數(shù)據(jù)同步功能，即選擇數(shù)據(jù)來源以及希望數(shù)據(jù)同步到的目標(biāo)為主，針對不同的源、目標(biāo)設(shè)置參數(shù)、任務(wù)調(diào)度頻率和策略即可?，F(xiàn)在比較時(shí)髦的一個(gè)詞叫數(shù)據(jù)一鍵入湖。一鍵自動(dòng)化實(shí)現(xiàn)非結(jié)構(gòu)化（音視頻等）、結(jié)構(gòu)化數(shù)據(jù)到中央數(shù)據(jù)湖，以供后期處理消費(fèi)?；氐角懊嬷v過的大廚做菜的例子，數(shù)據(jù)集成工具就比如自動(dòng)化的收割工具，過去因?yàn)槭止谧?，食材?shù)量、種類有限，當(dāng)機(jī)械化生產(chǎn)后，豐盈度大大提升。

二、數(shù)據(jù)加工與處理工具

1. 離線開發(fā)平臺（必須）

匯聚入湖的數(shù)據(jù)需要加工處理才能發(fā)揮其價(jià)值，尤其對于湖倉一體的架構(gòu)中，涉及到結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)倉庫模塊的開發(fā)。按照業(yè)務(wù)需求的邏輯對數(shù)據(jù)進(jìn)行ETL處理，輸出一個(gè)個(gè)的數(shù)據(jù)模型。對于離線開發(fā)平臺主要功能應(yīng)包括：

存儲&計(jì)算層：資源的自動(dòng)化分配（主要是集群資源的調(diào)度），數(shù)據(jù)開發(fā)主要關(guān)注業(yè)務(wù)邏輯，而不需要人人都搭一套hadoop

任務(wù)開發(fā)層：IDE可視化任務(wù)開發(fā)，除了核心的數(shù)據(jù)處理邏輯需要代碼實(shí)現(xiàn)外，其他的參數(shù)設(shè)置都可以配置化，且平臺需要支撐Hive、Shell、python等常用數(shù)據(jù)開發(fā)和挖掘任務(wù)類型。

任務(wù)調(diào)度：數(shù)據(jù)有嚴(yán)格的上下游關(guān)系，只有上游數(shù)據(jù)任務(wù)運(yùn)行成功數(shù)據(jù)加工完成后，下游數(shù)據(jù)才準(zhǔn)確，所以一般任務(wù)不會單獨(dú)存在，需要建立依賴關(guān)系，此外，周期性的數(shù)據(jù)也不能每天手動(dòng)點(diǎn)一下，還需要時(shí)間調(diào)度，根據(jù)需求設(shè)定是每分鐘、小時(shí)還是天月執(zhí)行，在什么時(shí)間執(zhí)行等。

任務(wù)運(yùn)維：修改邏輯、上游出錯(cuò)、集群資源不穩(wěn)定等經(jīng)常需要涉及數(shù)據(jù)回溯、任務(wù)重跑等操作，提供批量、自動(dòng)化的操作可以節(jié)省大量運(yùn)維時(shí)間。

2. 實(shí)時(shí)開發(fā)平臺（必須）

實(shí)時(shí)數(shù)據(jù)主要滿足實(shí)時(shí)數(shù)據(jù)監(jiān)控，產(chǎn)品端實(shí)時(shí)搜索、推薦或?qū)崟r(shí)場景化營銷，實(shí)時(shí)開發(fā)和離線開發(fā)主要在技術(shù)組件上的差別，產(chǎn)品功能模塊大同小異，也可以把整合形成批流一體化的一站式大數(shù)據(jù)開發(fā)運(yùn)維平臺。

3. 數(shù)據(jù)倉庫建設(shè)工具（可選）

主要是將數(shù)據(jù)模型開發(fā)規(guī)范和流程融入到系統(tǒng)當(dāng)中，是一種低代碼的思想減少數(shù)倉建模的開發(fā)代碼開發(fā)，提升模型的規(guī)范化和復(fù)用性，比如阿里的Datapin，系統(tǒng)化的好處在于方便前置化管理建模過程，而不是先污染后治理，弊端是可能沒有開發(fā)自己寫代碼那么靈活，所以可以作為可選模塊。

三、數(shù)據(jù)資產(chǎn)管理和治理產(chǎn)品

1. 數(shù)據(jù)地圖（必須）

酒香也怕巷子深，數(shù)據(jù)模型開發(fā)完了，找得到、敢使用才能提升復(fù)用性，數(shù)據(jù)地圖通過資產(chǎn)目錄共享和強(qiáng)大的數(shù)據(jù)檢索能力，提供逛數(shù)據(jù)、找數(shù)據(jù)的能力，同時(shí)需要具備豐富的模型元數(shù)據(jù)信息，讓數(shù)據(jù)消費(fèi)者快速判斷是不是自己所需要的數(shù)據(jù)，如何使用。

2. 數(shù)據(jù)質(zhì)量監(jiān)控（必須）

數(shù)據(jù)不準(zhǔn)可以說是業(yè)務(wù)和數(shù)據(jù)團(tuán)隊(duì)最頭疼的問題之一，業(yè)務(wù)拿到數(shù)據(jù)不敢用，先來問下開發(fā)準(zhǔn)不準(zhǔn)，開發(fā)不自信，看了任務(wù)看了代碼說應(yīng)該沒問題。數(shù)據(jù)質(zhì)量監(jiān)控圍繞一致性、及時(shí)性、完整性、準(zhǔn)確性維度構(gòu)建豐富靈活的數(shù)據(jù)質(zhì)量規(guī)則配置和自動(dòng)化預(yù)警能力，讓數(shù)據(jù)開發(fā)人員更自信，只要監(jiān)控沒報(bào)警，就可以拍著胸脯說，是不是業(yè)務(wù)上有什么變化。

3. 數(shù)據(jù)血緣（必須）

主要解決數(shù)據(jù)的追根溯源的問題，例如數(shù)據(jù)異常，需要通知下游業(yè)務(wù)，數(shù)據(jù)治理時(shí)需要下線或者刪除，下游有沒有人在使用，沒有血緣就不敢治理，數(shù)據(jù)&服務(wù)只增不減。

4. 數(shù)據(jù)成本優(yōu)化（必須）

雖然說大家默認(rèn)數(shù)據(jù)部門是成本中心，但是在這個(gè)寒冬之下，也要勒緊褲腰帶，雖不能開源但總要節(jié)流，哪些數(shù)據(jù)長期無人使用可以歸檔或刪除，哪些任務(wù)SQL性能奇差一個(gè)任務(wù)執(zhí)行10多個(gè)小時(shí)，消耗大量CPU、GPU？數(shù)據(jù)成本優(yōu)化核心目標(biāo)是建立數(shù)據(jù)健康分評價(jià)體系，自動(dòng)化檢測治理目標(biāo)，并提供歸檔、刪除等自動(dòng)化治理動(dòng)作，從而釋放服務(wù)器資源，常態(tài)化做減法。

5. 統(tǒng)一數(shù)據(jù)權(quán)限（必須）

數(shù)據(jù)安全問題事關(guān)企業(yè)生死存亡和數(shù)據(jù)團(tuán)隊(duì)的“錢途”，統(tǒng)一權(quán)限主要是建立數(shù)據(jù)資產(chǎn)權(quán)限申請、授權(quán)、審計(jì)對應(yīng)的流程，從而保證數(shù)據(jù)既共享又安全。

四、數(shù)據(jù)決策與智能應(yīng)用

1. 數(shù)據(jù)可視化分析（必須）

這里主要指主題式數(shù)據(jù)分析報(bào)表，可以是定制化開發(fā)，也可以是基于自助BI工具配置。其主要目標(biāo)是提供業(yè)務(wù)經(jīng)營管理的核心指標(biāo)體系的可視化分析能力。不能讓老板每天自己使用自助BI拖拉拽吧。例如一些管理駕駛艙Dashboard或者可視化大屏。

2. 現(xiàn)代自助式BI分析（必須）

Tableau在被saleforce 以157億美金收購后，在21年底宣布退出中國市場，作為BI工具的鼻祖，功能非常完善和強(qiáng)大，為什么水土不服呢？主要原因是它的目標(biāo)用戶是數(shù)據(jù)分析師，功能的復(fù)雜度導(dǎo)致學(xué)習(xí)理解成本高，數(shù)字化轉(zhuǎn)型時(shí)代要求的是數(shù)據(jù)民主和普惠，人人都是數(shù)據(jù)分析師，所以相比較tableau，現(xiàn)在國內(nèi)的一些云廠商（QuickBI、火山引擎等）和BI產(chǎn)品（觀遠(yuǎn)數(shù)據(jù)）更能滿足讓一線業(yè)務(wù)人員用數(shù)據(jù)的需求。有了現(xiàn)代BI，數(shù)據(jù)人員聚焦模型開發(fā)和數(shù)據(jù)基建，業(yè)務(wù)人員拖拽分析，自己配置可視化Dashboard，不再純依賴數(shù)據(jù)團(tuán)隊(duì)的臨時(shí)SQL取數(shù)，或者定制化的可視化頁面開發(fā)了。

3. 用戶行為分析系統(tǒng)（可選）

2015年用戶增長、增長黑客理論火爆的時(shí)候，很多中小型互聯(lián)網(wǎng)企業(yè)紛紛購買神策、GrowingIO等用戶行為分析系統(tǒng)。其好處是可以提供用戶行為數(shù)據(jù)從采集到自助式分析的能力，但數(shù)據(jù)層面更多的聚焦在流量數(shù)據(jù)，對其他業(yè)務(wù)系統(tǒng)數(shù)據(jù)支持性相對較弱。現(xiàn)代自助BI可以包含用戶行為的模型數(shù)據(jù)，所以包容性更強(qiáng)。

4. 數(shù)字化營銷CDP或DMP（必須）

基于大數(shù)據(jù)計(jì)算和數(shù)據(jù)挖掘技術(shù)，構(gòu)建用戶畫像標(biāo)簽體系，用戶圈選、精細(xì)化分層，進(jìn)行差異化運(yùn)營和營銷觸達(dá)，提升運(yùn)營ROI。業(yè)務(wù)同學(xué)可基于平臺實(shí)現(xiàn)從人群圈選、場景構(gòu)建、觸達(dá)投放、效果回收的閉環(huán)，同時(shí)，基于算法挖掘標(biāo)簽及模型推薦的人群組合，從基于人的經(jīng)驗(yàn)運(yùn)營，到基于大數(shù)據(jù)算法推薦的智能運(yùn)營。一般企業(yè)內(nèi)部私域流量運(yùn)營稱之為CDP（客戶數(shù)據(jù)管理平臺），流量變現(xiàn)的企業(yè)稱之為DMP（數(shù)據(jù)管理平臺），如騰訊廣點(diǎn)通、阿里達(dá)摩盤。

5. 算法平臺（可選）

數(shù)字化轉(zhuǎn)型高級層次是智能化，要想AI服務(wù)開發(fā)更加高效，甚至產(chǎn)品、運(yùn)營都可以配置一個(gè)推薦服務(wù)接口，這時(shí)機(jī)器學(xué)習(xí)或者叫算法平臺就可以派上用場了。對于算法開發(fā)，主要是提供從資源調(diào)度（CPU、GPU等）、離在線數(shù)據(jù)獲取、特性開發(fā)、模型訓(xùn)練、推理服務(wù)全流程的算法工作臺，從而提升算法中臺化輸出的能力，甚至可以通過模型節(jié)點(diǎn)拖拽實(shí)現(xiàn)無代碼化的算法服務(wù)上線。

6. 數(shù)據(jù)服務(wù)管理（可選）

有人也把數(shù)據(jù)中臺稱之為DAAS，即數(shù)據(jù)即服務(wù)，數(shù)據(jù)如何快速輸出業(yè)務(wù)端，賦能產(chǎn)品創(chuàng)新。API服務(wù)統(tǒng)一管理，建立完善的應(yīng)用血緣關(guān)系，提供通用接口的配置化生成能力，降低對Java開發(fā)的依賴。數(shù)據(jù)中臺思想下，數(shù)據(jù)服務(wù)API輸出是應(yīng)用輸出的最主要形式，數(shù)據(jù)服務(wù)管理平臺一方面要具備將數(shù)據(jù)資產(chǎn)自助配置化輸出的能力，即數(shù)倉清洗好的數(shù)據(jù)模型，數(shù)據(jù)開發(fā)或業(yè)務(wù)人員可以通過入?yún)ⅰ⒊鰠⒌目梢暬渲蒙葾PI接口，不需要接口開發(fā)介入。同時(shí)也要把API資產(chǎn)化管理，API接口文檔、應(yīng)用調(diào)用情況做到可追蹤、可監(jiān)控。

五、總結(jié)

廣義數(shù)據(jù)產(chǎn)品的定義是凡是可以提升數(shù)據(jù)從采、存、管、算、用全流程效率，促進(jìn)數(shù)據(jù)價(jià)值輸出的相關(guān)產(chǎn)品都可以歸結(jié)為數(shù)據(jù)產(chǎn)品，在數(shù)字化轉(zhuǎn)型過程中涉及的產(chǎn)品大大小小二三十款，但總體產(chǎn)品矩陣大同小異。而且現(xiàn)在幾乎每個(gè)細(xì)分領(lǐng)域都有成熟的商業(yè)化數(shù)據(jù)產(chǎn)品版本，企業(yè)在實(shí)際數(shù)字化轉(zhuǎn)型的過程中可以根據(jù)研發(fā)資源、投入時(shí)間及財(cái)務(wù)成本、數(shù)據(jù)安全等多個(gè)方面綜合評估，哪些選擇外采，哪些自主研發(fā)。