數(shù)據(jù)的能力和價(jià)值你真的了解嗎?
當(dāng)前大家都在談?wù)撘粋€(gè)話(huà)題——數(shù)據(jù),到底數(shù)據(jù)具有什么“魅力”,能讓無(wú)數(shù)人耗費(fèi)心血地去研究。
大數(shù)據(jù)是一個(gè)持久發(fā)熱的話(huà)題,而且熱火朝天的人工智能依賴(lài)于大數(shù)據(jù)的發(fā)展。大家都在討論數(shù)據(jù)能力,數(shù)據(jù)能力是一個(gè)很抽象的概念,那數(shù)據(jù)能力具體是什么?數(shù)據(jù)價(jià)值呢?
數(shù)據(jù)自身是沒(méi)有價(jià)值或者說(shuō)微乎其微的,價(jià)值是被賦予的,就像黃金一樣,黃金的價(jià)值是他的應(yīng)用前景或場(chǎng)景。數(shù)據(jù)的價(jià)值就是數(shù)據(jù)能力體現(xiàn)出的收益,或者說(shuō)投資回報(bào)率。
今天我們就來(lái)聊聊數(shù)據(jù)能力和價(jià)值。
說(shuō)到大數(shù)據(jù)就不得不提數(shù)據(jù)倉(cāng)庫(kù),企業(yè)數(shù)據(jù)倉(cāng)庫(kù)演化至最終階段或許會(huì)變?yōu)榇竽X中樞神經(jīng),如果要支撐起整個(gè)復(fù)雜的大腦和神經(jīng)系統(tǒng),需要一系列的復(fù)雜機(jī)制配合。
而這一套支撐體系在數(shù)據(jù)層面會(huì)形成大家口中長(zhǎng)談的數(shù)據(jù)能力,而數(shù)據(jù)能力是什么?支撐體系又是什么?那具備了這些能力后的價(jià)值又是什么,如何應(yīng)用呢?
一、抽象的數(shù)據(jù)能力架構(gòu)
我把數(shù)據(jù)能力抽象概括為四個(gè)方向:傳輸能力、計(jì)算能力、算法能力和數(shù)據(jù)資產(chǎn)量級(jí),后面會(huì)講述在這四個(gè)能力之上泛化出的數(shù)據(jù)應(yīng)用和價(jià)值。
圖1.1 抽象數(shù)據(jù)能力構(gòu)成
1. 數(shù)據(jù)傳輸能力
數(shù)據(jù)大部分的使用場(chǎng)景必然會(huì)涉及到數(shù)據(jù)傳輸,數(shù)據(jù)傳輸性能決定了部分應(yīng)用場(chǎng)景的實(shí)現(xiàn),數(shù)據(jù)實(shí)時(shí)的調(diào)用、加工、算法推薦和預(yù)測(cè)等;而傳輸抽象出來(lái)的支撐體系是底層的數(shù)據(jù)存儲(chǔ)架構(gòu)(當(dāng)然非同機(jī)房的傳輸還要考慮到網(wǎng)絡(luò)環(huán)境等。單純的小數(shù)據(jù)量調(diào)用等一般不會(huì)涉及到這些,但數(shù)據(jù)量級(jí)大、高并發(fā)且對(duì)SLA要求非常嚴(yán)格的時(shí)候,就是對(duì)數(shù)據(jù)傳輸能力的考驗(yàn))。
從產(chǎn)品的角度我把數(shù)據(jù)傳輸能力分解為:底層數(shù)據(jù)傳輸效率和應(yīng)用層數(shù)據(jù)傳輸效率。
底層的數(shù)據(jù)傳輸效率是指數(shù)據(jù)源進(jìn)入后的預(yù)處理階段的傳輸效率,即加工為產(chǎn)品所需的數(shù)據(jù)交付物之前階段。
圖2.1 數(shù)據(jù)應(yīng)用鏈路
Ps:數(shù)據(jù)在可為產(chǎn)品所用之前需要很長(zhǎng)的一段加工過(guò)程,應(yīng)用層數(shù)據(jù)產(chǎn)品基本不涵蓋底層數(shù)據(jù)加工環(huán)節(jié),而數(shù)據(jù)產(chǎn)品會(huì)用到規(guī)定好的數(shù)據(jù)交付物(即已約定好的結(jié)構(gòu)化或標(biāo)準(zhǔn)化的數(shù)據(jù)),而利用此數(shù)據(jù)交付物再經(jīng)過(guò)產(chǎn)品對(duì)實(shí)際應(yīng)用場(chǎng)景的匹配和加工來(lái)提供數(shù)據(jù)服務(wù)。即使涉及底層數(shù)據(jù)管理的相關(guān)產(chǎn)品也是對(duì)Meta元數(shù)據(jù)、使用日志或?qū)懞玫膕hell等的調(diào)用。
底層數(shù)據(jù)加工計(jì)算所涉及到的傳輸效率,直接決定了支撐數(shù)據(jù)產(chǎn)品高性能、高可靠的自身需求;而應(yīng)用層的傳輸影響了用戶(hù)體驗(yàn)和場(chǎng)景實(shí)現(xiàn)。傳輸機(jī)制和體系就像毛細(xì)血管一樣遍布全身錯(cuò)綜復(fù)雜,但是流通速率直接決定了大腦供氧是否充足。
2. 數(shù)據(jù)計(jì)算能力
數(shù)據(jù)計(jì)算能力就像造血系統(tǒng)一樣,根據(jù)多種來(lái)源的養(yǎng)分原料進(jìn)行生產(chǎn)加工最終產(chǎn)出血液。而源數(shù)據(jù)通過(guò)高性能的底層多存儲(chǔ)的分布式技術(shù)架構(gòu)進(jìn)行ETL(抽取、轉(zhuǎn)換、裝載)清洗后產(chǎn)出的是數(shù)據(jù)中間層通用化的結(jié)構(gòu)化數(shù)據(jù)交付物。計(jì)算速度就像造血速度一樣,決定了供應(yīng)量。而計(jì)算速度直接決定了數(shù)據(jù)應(yīng)用的時(shí)效性和應(yīng)用場(chǎng)景。
目前最多最普遍的就是離線(xiàn)數(shù)倉(cāng),離線(xiàn)數(shù)倉(cāng)大部分擔(dān)任著事后諸葛亮的角色,即沒(méi)辦法保證數(shù)據(jù)的及時(shí)性而延后了數(shù)據(jù)分析及應(yīng)用的產(chǎn)出,導(dǎo)致更多的是沉淀經(jīng)驗(yàn)而難以做到實(shí)時(shí)決策。而實(shí)時(shí)數(shù)倉(cāng),甚至說(shuō)對(duì)Data Lake(數(shù)據(jù)湖)的實(shí)時(shí)處理已經(jīng)逐步開(kāi)放應(yīng)用多種場(chǎng)景。我們先不考慮越來(lái)越強(qiáng)烈的實(shí)時(shí)性要求帶來(lái)的巨大成本是否真的可以創(chuàng)造等值的收益。
強(qiáng)實(shí)時(shí)可以更接近一個(gè)“未來(lái)”的狀態(tài),即此時(shí)此刻。這遠(yuǎn)比算法對(duì)未來(lái)的預(yù)測(cè)更有價(jià)值,因?yàn)榘盐昭矍氨葮?gòu)造多變的未來(lái)對(duì)一個(gè)企業(yè)更有價(jià)值。甚至說(shuō)當(dāng)數(shù)據(jù)過(guò)程快過(guò)神經(jīng)元的傳遞,那么從獲取到你腦電波的那一刻起,數(shù)據(jù)處理的驅(qū)動(dòng)結(jié)果遠(yuǎn)比神經(jīng)元傳遞至驅(qū)動(dòng)四肢要快。
是不是與兵馬未動(dòng),糧草先行的場(chǎng)景相似?當(dāng)然這是以數(shù)據(jù)計(jì)算能力的角度來(lái)看待這個(gè)問(wèn)題。跳出來(lái)以我個(gè)人的觀點(diǎn)來(lái)說(shuō),整體數(shù)據(jù)能力強(qiáng)大到一定階段后,會(huì)從主觀改變個(gè)人的意愿,即通過(guò)引導(dǎo)你的大腦從而來(lái)控制或決定個(gè)人行為且不會(huì)讓你感知,所以可以理解為從主觀改變個(gè)人意愿。從人的角度來(lái)說(shuō),你并不知道或者直觀意愿去憑空決定下一步要做什么,因?yàn)榇竽X是邏輯處理器,當(dāng)然這又涉及到心理學(xué),這些觀點(diǎn)就不在此贅述了,等往后另起一個(gè)篇幅來(lái)說(shuō)數(shù)據(jù)應(yīng)用未來(lái)前景和假想。
3. 數(shù)據(jù)資產(chǎn)能力
都在說(shuō)“大”數(shù)據(jù),那么數(shù)據(jù)量級(jí)越大越好嗎?并不是,從某種角度來(lái)說(shuō)大量無(wú)價(jià)值或者未探索出價(jià)值的數(shù)據(jù)是個(gè)負(fù)擔(dān),巨大的資源損耗還不敢輕易抹滅。
隨著數(shù)據(jù)量級(jí)的急劇放大,帶來(lái)的是數(shù)據(jù)孤島:數(shù)據(jù)的不可知、不可聯(lián)、不可控、不可??;那么散亂的數(shù)據(jù)只有轉(zhuǎn)換成資產(chǎn)才可以更好的發(fā)揮價(jià)值。
什么是數(shù)據(jù)資產(chǎn),我覺(jué)得可以廣泛的定義為可直接使用的交付數(shù)據(jù)即可劃為資產(chǎn),當(dāng)然可直接使用的數(shù)據(jù)有很多種形式,比如meta元數(shù)據(jù)、特征、指標(biāo)、標(biāo)簽和ETL的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)等。
目前也在拓展Data Lake的使用場(chǎng)景,直接實(shí)時(shí)的使用和處理Data Lake數(shù)據(jù)的趨勢(shì)是一種擴(kuò)大企業(yè)自身數(shù)據(jù)資產(chǎn)范圍和資產(chǎn)使用率的方式。這有利于突破數(shù)倉(cāng)模型對(duì)數(shù)據(jù)的框架限定,改變數(shù)據(jù)使用方式會(huì)有更大的想象空間。
數(shù)據(jù)資產(chǎn)的價(jià)值可以分兩部分來(lái)考慮:一部分是數(shù)據(jù)資產(chǎn)直接變現(xiàn)的價(jià)值;另一部分是通過(guò)數(shù)據(jù)資產(chǎn)作為資源加工后提供數(shù)據(jù)服務(wù)的業(yè)務(wù)價(jià)值。
第一部分比較好理解,就是數(shù)據(jù)集的輸出變現(xiàn)值,如標(biāo)簽、樣本和訓(xùn)練集等的直接輸出按數(shù)據(jù)量來(lái)評(píng)估價(jià)值;第二部分價(jià)值比如通過(guò)自身數(shù)據(jù)訓(xùn)練優(yōu)化后的算法應(yīng)用而提升業(yè)務(wù)收益的價(jià)值或依于數(shù)據(jù)的廣告投放的營(yíng)銷(xiāo)變現(xiàn)等,甚至說(shuō)沉淀出的數(shù)據(jù)資產(chǎn)管理能力作為知識(shí)的無(wú)形資產(chǎn)對(duì)外服務(wù)的價(jià)值。這些間接的數(shù)據(jù)應(yīng)用和服務(wù)的變現(xiàn)方式也是數(shù)據(jù)資產(chǎn)價(jià)值的體現(xiàn)并可以精細(xì)的量化。
4. 數(shù)據(jù)算法能力
其實(shí)無(wú)論是傳輸能力還是計(jì)算能力,都是相對(duì)偏數(shù)據(jù)底層的實(shí)現(xiàn),而離業(yè)務(wù)場(chǎng)景最近的就是算法能力所提供的算法服務(wù),這是最直接應(yīng)用于業(yè)務(wù)場(chǎng)景且更容易被用戶(hù)感知的數(shù)據(jù)能力,因?yàn)閷?duì)于傳輸和計(jì)算來(lái)說(shuō)用戶(hù)感知的是速度快慢,從用戶(hù)視角快是應(yīng)該的,因此用戶(hù)并不知道何時(shí)何地計(jì)算或傳輸。
而算法對(duì)業(yè)務(wù)應(yīng)用場(chǎng)景是一個(gè)從0到1,從無(wú)到有的過(guò)程。并且算法是基于數(shù)據(jù)傳輸、計(jì)算和資產(chǎn)能力之上泛化出的應(yīng)用能力,或者換句話(huà)說(shuō)是三個(gè)基礎(chǔ)能力的封裝進(jìn)化。
而算法能力是把多元的數(shù)據(jù)集或者說(shuō)獲取到盡可能多的數(shù)據(jù)轉(zhuǎn)化為一個(gè)決策判斷結(jié)果來(lái)應(yīng)用于業(yè)務(wù)場(chǎng)景。算法能力的強(qiáng)弱反映了三個(gè)數(shù)據(jù)能力是否高效配合,是否存在木桶效應(yīng),更甚者木桶也沒(méi)有。當(dāng)然單純的算法也可以單獨(dú)作為無(wú)形資產(chǎn)的知識(shí)沉淀來(lái)提供服務(wù)。
對(duì)于數(shù)據(jù)能力架構(gòu)中的四大能力,傳輸、計(jì)算和資產(chǎn)是基礎(chǔ)能力,而算法是高級(jí)的泛化能力。而能力的輸出和應(yīng)用才能體現(xiàn)數(shù)據(jù)價(jià)值,數(shù)據(jù)能力的最大化輸出考驗(yàn)著整個(gè)數(shù)據(jù)產(chǎn)品架構(gòu)體系的通用性和靈活性。因?yàn)樾枰鎸?duì)的是各種業(yè)務(wù)演化出的多種多樣場(chǎng)景,對(duì)數(shù)據(jù)能力的需求參差不齊:可能是片面化的,也可能是多種能力匹配協(xié)調(diào)的。這對(duì)產(chǎn)品的通用性就是一個(gè)巨大的挑戰(zhàn),想更好的應(yīng)對(duì)這個(gè)問(wèn)題,可能就需要整個(gè)數(shù)據(jù)平臺(tái)的產(chǎn)品矩陣來(lái)支撐和賦能。
二、數(shù)據(jù)能力對(duì)應(yīng)數(shù)據(jù)價(jià)值的呈現(xiàn)
從數(shù)據(jù)應(yīng)用的角度,每個(gè)能力都可以獨(dú)立開(kāi)放也可以組合疊加。如果把能力具象出來(lái)就會(huì)衍生到產(chǎn)品形態(tài)的問(wèn)題,產(chǎn)品形態(tài)是對(duì)能力適配后發(fā)揮作用的交付物。說(shuō)到產(chǎn)品形態(tài)我們可以想象一下應(yīng)用場(chǎng)景。
首先最基礎(chǔ)的應(yīng)用場(chǎng)景就是數(shù)據(jù)直接調(diào)用,數(shù)據(jù)資產(chǎn)的使用基本會(huì)基于特征、指標(biāo)、標(biāo)簽或者知識(shí)等交付形態(tài)。而對(duì)于使用方來(lái)說(shuō)這些數(shù)據(jù)會(huì)作為半成品原料或依據(jù)來(lái)進(jìn)行二次加工應(yīng)用于業(yè)務(wù)場(chǎng)景中,如數(shù)據(jù)分析、數(shù)據(jù)挖掘、算法的訓(xùn)練與驗(yàn)證、知識(shí)圖譜、個(gè)性推薦、精準(zhǔn)投放(觸達(dá))和風(fēng)控等。數(shù)據(jù)資產(chǎn)可以統(tǒng)歸為在數(shù)據(jù)市場(chǎng)中通過(guò)構(gòu)建的一些OpenAPI進(jìn)行賦能。
而對(duì)于一個(gè)工廠來(lái)說(shuō),僅僅進(jìn)行原材料的加工(ETL)輸出即除了自身原材料(數(shù)據(jù)資產(chǎn))的壁壘外核心競(jìng)爭(zhēng)力很小,需要包裝一些上層的基礎(chǔ)服務(wù)來(lái)提升競(jìng)爭(zhēng)力,那么數(shù)據(jù)計(jì)算的能力融合進(jìn)來(lái)對(duì)原材料進(jìn)行二次加工(聚合統(tǒng)計(jì))。
計(jì)算的聚合統(tǒng)計(jì)能力加入進(jìn)來(lái)后可以滿(mǎn)足大部分的數(shù)據(jù)分析場(chǎng)景的支持,就不單單是原材料毫無(wú)技術(shù)含量的輸出,并可以以半成品的形態(tài)規(guī)避數(shù)據(jù)敏感。因?yàn)閷?duì)于統(tǒng)計(jì)值來(lái)說(shuō),這是一個(gè)分析結(jié)果或結(jié)論,并不會(huì)涉及到自身敏感數(shù)據(jù)的輸出,因此你的核心資產(chǎn)不會(huì)泄露,而輸出的僅僅是資產(chǎn)的附加值。換句話(huà)說(shuō)知識(shí)產(chǎn)權(quán)專(zhuān)利依然在你手中,通過(guò)控制專(zhuān)利泛化出的能力進(jìn)行投資回報(bào)。
融入計(jì)算能力后的一些分析場(chǎng)景如:人群的畫(huà)像分析、多維度的交叉分析、業(yè)務(wù)的策略分析和監(jiān)控分析等多種場(chǎng)景。
隨著時(shí)代的發(fā)展和業(yè)務(wù)場(chǎng)景的增多,這時(shí)工廠繼續(xù)需要產(chǎn)業(yè)變革,要深耕服務(wù)業(yè)逐步拋棄制造業(yè)形態(tài),全面提升更高級(jí)的數(shù)據(jù)服務(wù)。這時(shí)算法能力的加入來(lái)更好的完善服務(wù)矩陣。
算法通過(guò)封裝了傳輸、計(jì)算和資產(chǎn)能力而進(jìn)行統(tǒng)一的更好理解的業(yè)務(wù)場(chǎng)景目標(biāo)預(yù)測(cè)和識(shí)別等。這樣對(duì)于企業(yè)來(lái)說(shuō)可以更容易接受和低成本使用數(shù)據(jù)服務(wù)而不需要再涉及到數(shù)據(jù)加工鏈路中,而僅僅需要一個(gè)目標(biāo)結(jié)果,通過(guò)算法的決策作為參考來(lái)指導(dǎo)業(yè)務(wù)方向。像算法對(duì)一些業(yè)務(wù)場(chǎng)景的預(yù)測(cè)分析,甚至說(shuō)一些人工智能場(chǎng)景的識(shí)別或?qū)W習(xí)思考,都可以通過(guò)算法賦能來(lái)實(shí)現(xiàn)。對(duì)于企業(yè)來(lái)說(shuō)就是從無(wú)到有的突破,企業(yè)發(fā)展進(jìn)程甚至可能提升好幾年。
而貫穿以上能力應(yīng)用場(chǎng)景都是對(duì)數(shù)據(jù)傳輸能力的考驗(yàn)。
圖3.1 數(shù)據(jù)能力架構(gòu)及應(yīng)用
產(chǎn)品經(jīng)理在這之中的價(jià)值是什么?我認(rèn)為是抽象出通用能力,然后靈活的組合運(yùn)用來(lái)構(gòu)建產(chǎn)品架構(gòu)和體系,最終根據(jù)服務(wù)方式確定產(chǎn)品形態(tài)。
當(dāng)然這一切要基于既定的商業(yè)或業(yè)務(wù)方向,甚至說(shuō)在未知的探索中可以靈活適配多種商業(yè)方向或業(yè)務(wù),那這就不僅僅是一個(gè)平臺(tái)而是變成了一個(gè)大中臺(tái)。
對(duì)于這些數(shù)據(jù)能力和應(yīng)用場(chǎng)景來(lái)說(shuō),如何構(gòu)建一套靈活適配的產(chǎn)品體系和架構(gòu)是能力與場(chǎng)景適配的關(guān)鍵,這個(gè)問(wèn)題留到下次來(lái)探討。
本文由 @戲說(shuō)貓狗 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來(lái)自 Unsplash ,基于 CC0 協(xié)議
- 目前還沒(méi)評(píng)論,等你發(fā)揮!