本文作者把通用大數(shù)據(jù)平臺(tái)的產(chǎn)品體系梳理了一遍，與你分享，enjoy~

隨著各行業(yè)產(chǎn)品和服務(wù)越來越豐富、多樣化，市場的趨于飽和，競爭白熱化，吸引并留存用戶難度和成本都雙雙居高不下，成為企業(yè)不能承受之重，同時(shí)企業(yè)又為了盈利和生存，更加嚴(yán)格地控制預(yù)算和成本。依靠數(shù)據(jù)精細(xì)化運(yùn)營、數(shù)據(jù)驅(qū)動(dòng)增長已經(jīng)成為企業(yè)的必修課。

近兩年企業(yè)也都紛紛成立數(shù)據(jù)團(tuán)隊(duì)，企業(yè)大數(shù)據(jù)團(tuán)隊(duì)能否基于大數(shù)據(jù)平臺(tái)給企業(yè)的營銷賦能、運(yùn)營賦能，成為驅(qū)動(dòng)企業(yè)成長的關(guān)鍵所在。賦能的核心是搭建好用的大數(shù)據(jù)平臺(tái)，成體系的、架構(gòu)優(yōu)良數(shù)據(jù)產(chǎn)品矩陣，大數(shù)據(jù)平臺(tái)也不再是獨(dú)立的數(shù)據(jù)平臺(tái)，開始和CRM、營銷平臺(tái)、PUSH系統(tǒng)深度融合，直接給業(yè)務(wù)系統(tǒng)賦能。

我們不談大數(shù)據(jù)平臺(tái)的技術(shù)架構(gòu)，而從產(chǎn)品角度解析下大數(shù)據(jù)平臺(tái)，包含哪些產(chǎn)品模塊，各產(chǎn)品模塊的核心功能又是什么。例如說用戶畫像必談標(biāo)簽，但在產(chǎn)品層面是一回事么，應(yīng)該怎么設(shè)計(jì)？另外廠商的數(shù)據(jù)管理平臺(tái)也是百花齊放，不同行業(yè)不同公司應(yīng)用的側(cè)重方向不一樣，產(chǎn)品架構(gòu)也不盡相同。廣告行業(yè)的DMP，也叫做數(shù)據(jù)管理平臺(tái)，但是和一般企業(yè)中的大數(shù)據(jù)開發(fā)管理平臺(tái)就不是一個(gè)概念，DMP核心是標(biāo)簽平臺(tái)，給用戶打各種標(biāo)簽，然后和廣告主、DSP做用戶群對接，為精準(zhǔn)投放廣告服務(wù)。

如何從紛亂的信息中理出一條相對清晰的產(chǎn)品思路來，對應(yīng)大數(shù)據(jù)平臺(tái)來說是至關(guān)重要的一步，產(chǎn)品架構(gòu)是技術(shù)架構(gòu)的雛形，目標(biāo)一致，產(chǎn)品和技術(shù)都會(huì)少走彎路。我把體系分成4層，從下往上依次是數(shù)據(jù)收集層、數(shù)據(jù)加工層、數(shù)據(jù)計(jì)算層、數(shù)據(jù)應(yīng)用層，層層依賴，下一層是上一層的基礎(chǔ)。這里不能簡單化的把此四層看做技術(shù)架構(gòu)、也無法映射到相應(yīng)的BI技術(shù)組件，這里的分層只是為非常宏觀地把數(shù)據(jù)產(chǎn)品體系拎清楚，而不是設(shè)計(jì)技術(shù)架構(gòu)。

我們先簡單說下各層的功能以及涉及到的產(chǎn)品模塊，然后再詳細(xì)介紹各個(gè)產(chǎn)品模塊。

（一）

數(shù)據(jù)收集層捕獲用戶在各個(gè)產(chǎn)品端的行為數(shù)據(jù)，加載各業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化，導(dǎo)入流量平臺(tái)數(shù)據(jù)、通過第三方平臺(tái)的API接入微信、微博數(shù)據(jù)、廣告投放數(shù)據(jù)，使用爬蟲采集企業(yè)輿情、電商商品評(píng)論等第三方數(shù)據(jù)。 相對應(yīng)的產(chǎn)品有用戶行為日志采集系統(tǒng)、第三方對接平臺(tái)、數(shù)據(jù)爬蟲。

數(shù)據(jù)加工層清洗、轉(zhuǎn)換數(shù)據(jù)，把不同業(yè)務(wù)系統(tǒng)的用戶歸一化生成統(tǒng)一的UniID，統(tǒng)一不同系統(tǒng)中的相同字段的數(shù)據(jù)類型、數(shù)據(jù)值（例如流量系統(tǒng)中的渠道和營銷平臺(tái)、廣告投放中定義的渠道不一致），建立合理的維度、度量以及數(shù)據(jù)模型。這一層的產(chǎn)品模塊有元數(shù)據(jù)管理、指標(biāo)庫、作業(yè)調(diào)度管理、數(shù)據(jù)質(zhì)量管理，都是為了讓數(shù)據(jù)可追溯、可管理，持續(xù)改進(jìn)數(shù)據(jù)質(zhì)量，產(chǎn)出高質(zhì)量的數(shù)據(jù)。

數(shù)據(jù)計(jì)算層解決數(shù)據(jù)開發(fā)和挖掘、標(biāo)簽制作和使用、算法調(diào)用、數(shù)據(jù)調(diào)用等問題。對應(yīng)的數(shù)據(jù)產(chǎn)品模塊有：開發(fā)管理、標(biāo)簽平臺(tái)、算法平臺(tái)、數(shù)據(jù)接口、運(yùn)維監(jiān)控。數(shù)據(jù)加工層和數(shù)據(jù)計(jì)算層是數(shù)據(jù)平臺(tái)建設(shè)的核心。

數(shù)據(jù)應(yīng)用層是業(yè)務(wù)人員、用戶可感知的系統(tǒng)和產(chǎn)品功能。內(nèi)部包括日常報(bào)表系統(tǒng)、用戶畫像系統(tǒng)、標(biāo)簽查詢、CRM、營銷平臺(tái)，對外包括改善用戶體驗(yàn)的個(gè)性化PUSH、推薦系統(tǒng)。

用戶畫像系統(tǒng)是在標(biāo)簽的基礎(chǔ)上定期生成企業(yè)、產(chǎn)品線用戶畫像報(bào)告，宏觀、匯總顯示用戶主要特征，同時(shí)可以自助查詢單一用戶、某個(gè)渠道、某條產(chǎn)品線的用戶畫像。供管理層、銷售、運(yùn)營、產(chǎn)品經(jīng)理日常使用。

標(biāo)簽功能是需要構(gòu)建一個(gè)標(biāo)簽服務(wù)平臺(tái)，最大限度的規(guī)范標(biāo)簽的體系（大類、中類、小類）、標(biāo)簽的格式、組合方式、調(diào)用方式等，可以基于標(biāo)簽進(jìn)行二次加工發(fā)布新標(biāo)簽。自定義標(biāo)簽是根據(jù)數(shù)據(jù)維度、度量自行生成新標(biāo)簽。每發(fā)布一個(gè)新的標(biāo)簽，就意味著新增加一種數(shù)據(jù)能力。標(biāo)簽是可以直接被外部系統(tǒng)調(diào)取，例如在CMR中的客戶信息頁面顯示消費(fèi)者類型（購物沖動(dòng)型、目標(biāo)明確型、理性分析型、猶豫型）。

CRM常規(guī)功能有客戶管理、潛在客戶管理、業(yè)務(wù)機(jī)會(huì)管理、營銷活動(dòng)管理、客服記錄管理。借助大數(shù)據(jù)可以為CRM擴(kuò)展這些能力： 用戶軌跡分析、挖掘潛在用戶、用戶流失分析、流失用戶挽回、用戶等級(jí)分群、用戶價(jià)值分析等。大數(shù)據(jù)時(shí)代，CRM也會(huì)同步進(jìn)化，不再是單純的業(yè)務(wù)過程記錄，應(yīng)該是和大數(shù)據(jù)走向融合，大數(shù)據(jù)的分析結(jié)果直接嵌入CRM中，供業(yè)務(wù)人員即時(shí)使用，但數(shù)據(jù)不會(huì)直接寫入大數(shù)據(jù)平臺(tái)，業(yè)務(wù)變更的數(shù)據(jù)還是進(jìn)入CRM系統(tǒng)，加工后再匯入大數(shù)據(jù)平臺(tái)

營銷平臺(tái)常規(guī)功能有營銷全流程管理（推廣計(jì)劃、廣告投放、效果、人群定向）、費(fèi)用審批、渠道管理、短信郵件推送、營銷策略、營銷執(zhí)行。 營銷平臺(tái)大數(shù)據(jù)應(yīng)用有： 生成種子客戶群、消費(fèi)者特征分析、消費(fèi)者類型分群（購物沖動(dòng)型、目標(biāo)明確型、理性分析型、猶豫型）、渠道衡量、營銷效果分析。 標(biāo)簽庫的用戶群要能推送到營銷平臺(tái)，它們內(nèi)嵌于生產(chǎn)流程，致力于端到端的解決問題，從而真正的賦能于業(yè)務(wù)人員。

CRM、營銷管理平臺(tái)既是數(shù)據(jù)消費(fèi)者，又是數(shù)據(jù)生產(chǎn)者，DT時(shí)代，CRM、營銷管理平臺(tái)也一起同步進(jìn)化， 大數(shù)據(jù)應(yīng)用和業(yè)務(wù)系統(tǒng)不斷融合，對產(chǎn)品架構(gòu)、技術(shù)架構(gòu)也都是不小的挑戰(zhàn)。

報(bào)表系統(tǒng)說一點(diǎn)，為了促進(jìn)業(yè)務(wù)人員經(jīng)常看數(shù)據(jù)報(bào)表，培養(yǎng)數(shù)據(jù)化運(yùn)營理念，除了報(bào)表門戶外，報(bào)表也要直接嵌入業(yè)務(wù)系統(tǒng)，因?yàn)闃I(yè)務(wù)系統(tǒng)他們是每天都要登錄的，這也是數(shù)據(jù)平臺(tái)和業(yè)務(wù)系統(tǒng)融合的一個(gè)表現(xiàn)。

個(gè)性化PUSH、推薦系統(tǒng)的產(chǎn)品功能比較明確，這里就不再贅述。

（二）

下面對數(shù)據(jù)管理平臺(tái)的產(chǎn)品模塊做個(gè)梳理，數(shù)據(jù)管理平臺(tái)是大數(shù)據(jù)產(chǎn)品體系建設(shè)的核心和地基，實(shí)現(xiàn)數(shù)據(jù)管理、數(shù)據(jù)開發(fā)、以及對生產(chǎn)過程的管理。這些產(chǎn)品模塊不一定全部需求，視數(shù)據(jù)規(guī)模及進(jìn)化階段而靈活裁剪。

• 開發(fā)管理： SQL開發(fā)、Spark開發(fā)、作業(yè)調(diào)度、API管理等
• 數(shù)據(jù)接口：對外提供數(shù)據(jù)訪問能力，CRM、營銷平臺(tái)可以直接使用數(shù)據(jù)平臺(tái)的數(shù)據(jù)，讓數(shù)據(jù)成果在業(yè)務(wù)系統(tǒng)中落地。
• 算法平臺(tái)： 解決數(shù)據(jù)開發(fā)和挖掘的問題，支持分類、聚類、關(guān)聯(lián)、回歸等常見數(shù)據(jù)挖掘算法，用于實(shí)現(xiàn)一些預(yù)測性標(biāo)簽、做用戶分群、個(gè)性化推薦等，如果業(yè)務(wù)線很多，還可以對業(yè)務(wù)線輸出算法能力供其直接使用，避免另起爐灶。
• 元數(shù)據(jù)管理： 元數(shù)據(jù)采集、數(shù)據(jù)字典、影響分析、血緣分析
• 質(zhì)量管理：質(zhì)量規(guī)則管理、質(zhì)量規(guī)則檢查、質(zhì)量問題管理
• 運(yùn)維管理： 資源管理、運(yùn)行監(jiān)控
• 指標(biāo)庫： 指標(biāo)庫準(zhǔn)確定義數(shù)據(jù)指標(biāo)的含義、計(jì)算方式， 例如流失用戶、活躍用戶如何定義，這兩個(gè)指標(biāo)不像PV、UV有著明確通用的定義，適用于行業(yè)的定義。 指標(biāo)庫重在企業(yè)內(nèi)部形成統(tǒng)一的指標(biāo)口徑，避免溝通誤差，影響對數(shù)據(jù)的解讀。

日志采集系統(tǒng)需要能夠支持網(wǎng)站、App、微信小程序不同終端的用戶行為數(shù)據(jù)收集，行為包括瀏覽、收藏、分享、評(píng)論、搜索、加入購物車、登錄、注冊、購買等等，盡可能收集所有有價(jià)值的行為數(shù)據(jù)?？梢允褂肍acebook開源的Scribe，或者Flume、Kibana搭建。

公網(wǎng)數(shù)據(jù)采集系統(tǒng)就是我們常說的網(wǎng)絡(luò)爬蟲，從公網(wǎng)上采集微博話題、電商評(píng)論、行業(yè)數(shù)據(jù)、營銷活動(dòng)數(shù)據(jù)等?？梢圆捎瞄_源軟件自己搭建，也可以購買現(xiàn)成的數(shù)據(jù)爬蟲服務(wù)。

第三方數(shù)據(jù)對接平臺(tái)通過API從微信公眾號(hào)獲取文章閱讀、用戶、用戶留言、客服記錄等數(shù)據(jù)，從廣告系統(tǒng)獲取投放計(jì)劃、投放結(jié)果數(shù)據(jù)。

到此，我們把通用大數(shù)據(jù)平臺(tái)的產(chǎn)品體系梳理了一遍，可以看出來大數(shù)據(jù)博大精深，非常繁雜。就單個(gè)產(chǎn)品來說工作量都已經(jīng)非常大，不是一朝一夕能夠建成，但我們先畫定一個(gè)較合理的藍(lán)圖，擇近期的核心需求先行建設(shè)，然后根據(jù)需要不斷迭代前行。

本文由 @百川?原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自 Pixabay，基于 CC0 協(xié)議