數(shù)據(jù)分析 | 數(shù)據(jù)分析整體框架

9 評論 56483 瀏覽 652 收藏 10 分鐘

編輯導(dǎo)語:無論是產(chǎn)品還是運營,數(shù)據(jù)分析都是其日常工作中不可忽略的一個板塊,那么數(shù)據(jù)分析的整體框架應(yīng)該如何搭建?本篇文章里,作者以支付業(yè)務(wù)為例,對數(shù)據(jù)分析的整體框架、數(shù)據(jù)如何處理加工做了相應(yīng)闡述,一起來看一下吧。

我以支付業(yè)務(wù)為例來講解。

用戶來到支付收銀臺后,在頁面上有很多點擊行為,比如選擇各種支付方式,微信支付、ApplePay 支付等最后完成支付,也有可能點擊左上角返回鍵或者右上角訂單中心離開當(dāng)前頁面。

數(shù)據(jù)分析 | 數(shù)據(jù)分析整體框架(二)

這個過程會產(chǎn)生很多數(shù)據(jù),從數(shù)據(jù)大類上分成:用戶數(shù)據(jù)、行為數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)

誰(用戶數(shù)據(jù))做了什么(行為數(shù)據(jù))結(jié)果如何(業(yè)務(wù)數(shù)據(jù))?

數(shù)據(jù)分析 | 數(shù)據(jù)分析整體框架(二)

用戶數(shù)據(jù)指用戶本身的特性,如用戶畫像,使用你產(chǎn)品的用戶男性多還是女性多,年齡多大等。

行為數(shù)據(jù)指用戶使用產(chǎn)品在頁面上的各種點擊行為,在頁面上停留時長等。

業(yè)務(wù)數(shù)據(jù)指用戶行為之后,實際產(chǎn)生的結(jié)果,業(yè)務(wù)數(shù)據(jù)會落庫業(yè)務(wù)數(shù)據(jù)表。分析業(yè)務(wù)數(shù)據(jù)的意義,可以衡量商業(yè)價值,是業(yè)務(wù)最終呈現(xiàn)結(jié)果,用以推動公司業(yè)務(wù)的發(fā)展。

用戶數(shù)據(jù)和行為數(shù)據(jù)通常可以從第三方數(shù)據(jù)工具,如友盟、Google Analytics 直接獲取,業(yè)務(wù)數(shù)據(jù)一般要內(nèi)部建設(shè)。

數(shù)據(jù)分析 | 數(shù)據(jù)分析整體框架(二)

今天重點講業(yè)務(wù)數(shù)據(jù)搭建完整過程,以阿里云的Quick BI為例。

在整個數(shù)據(jù)分析的框架中,分為五大層次,依次是:數(shù)據(jù)生成、獲取數(shù)據(jù)、數(shù)據(jù)建模、數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用。

數(shù)據(jù)分析 | 數(shù)據(jù)分析整體框架(二)

一、數(shù)據(jù)生成

還是以支付業(yè)務(wù)為例,用戶選擇支付方式完成支付后,落庫核心的兩張業(yè)務(wù)表:訂單表和交易表。一個訂單會對應(yīng)多筆交易(每選擇一種支付方式生成一筆交易,一筆訂單可以使用多個支付方式嘗試支付),其實還會產(chǎn)生其他表,比如收貨地址表等。

數(shù)據(jù)分析 | 數(shù)據(jù)分析整體框架(二)

二、獲取數(shù)據(jù)

通常使用第三方工具如ETL將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過抽取(Extract)、清洗轉(zhuǎn)換(Transform)之后加載(Load)到數(shù)據(jù)倉庫的過程,數(shù)據(jù)呈現(xiàn)在BI的數(shù)據(jù)源。

數(shù)據(jù)分析 | 數(shù)據(jù)分析整體框架(二)

三、數(shù)據(jù)建模

所有數(shù)據(jù)進(jìn)到數(shù)倉以后,需要根據(jù)實際想要看的業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)建模,建模后的數(shù)據(jù)呈現(xiàn)在數(shù)據(jù)集。數(shù)據(jù)集作為數(shù)據(jù)源和可視化展示的中間環(huán)節(jié),承接數(shù)據(jù)源的輸入,并為可視化展示輸出數(shù)據(jù)表。

數(shù)據(jù)分析 | 數(shù)據(jù)分析整體框架(二)

1. 構(gòu)建數(shù)據(jù)模型

數(shù)據(jù)建模是什么含義呢?

底層的業(yè)務(wù)數(shù)據(jù)表其實很多,幾十張上百張都有,但到了業(yè)務(wù)數(shù)據(jù)分析階段,當(dāng)需要分析的數(shù)據(jù)存儲在不同的表,可以通過數(shù)據(jù)關(guān)聯(lián),把多個表連接起來,形成模型進(jìn)行數(shù)據(jù)分析。

比如上述的業(yè)務(wù)底層訂單表到了數(shù)據(jù)分析階段衍生的訂單表字段發(fā)生變化,name 和 city 是從業(yè)務(wù)地址表取來的數(shù)據(jù)。

總的來說,數(shù)據(jù)模型是完全面向數(shù)據(jù)分析的業(yè)務(wù)場景形成的新表。以支付業(yè)務(wù)為例,我構(gòu)建的數(shù)據(jù)模型有:用戶表、訂單表和交易表。

數(shù)據(jù)分析 | 數(shù)據(jù)分析整體框架(二)

2. 設(shè)計維度和度量指標(biāo)

對數(shù)據(jù)字段可以進(jìn)行下一步分類:

  • 維度(Dimensions)
  • 度量(Measures)

在統(tǒng)計學(xué)中,單一數(shù)據(jù)字段可以被分為離散和連續(xù)。離散通常是維度,比如城市名稱、用戶名字,特征是有限數(shù)量的值;連續(xù)通常是度量,比如銷量、利潤或成功率,特征是不可羅列,可能為任一數(shù)值。維度和度量中有許多灰色區(qū)域,比如金額,可以做維度,也可以做度量。

在上述訂單表中,device、city 等是維度,對order_id 計數(shù)的總訂單數(shù)、對status = success 計數(shù)的成功訂單數(shù)是度量。

數(shù)據(jù)分析 | 數(shù)據(jù)分析整體框架(二)

度量可以再分原子度量和派生度量。

原子度量指從維度里直接獲取到,上表中的總訂單數(shù)和成功訂單數(shù)。

派生度量并不能直接從數(shù)據(jù)表中獲取,而需要基于已有數(shù)據(jù)進(jìn)行加工處理得到,上表中的訂單成功率是成功訂單數(shù)/總訂單數(shù)得到。

四、數(shù)據(jù)分析

有了維度和度量的概念后,接著引入聚合概念。對于數(shù)據(jù)分析來說,往往關(guān)心的并不是最底層一行一行的的明細(xì)數(shù)據(jù),更注重分析數(shù)據(jù)的角度,關(guān)心的是數(shù)據(jù)的總體特征。

聚合,簡單講就是數(shù)據(jù)源里的多行數(shù)據(jù)按照一定的標(biāo)準(zhǔn)計算成一個數(shù)據(jù),不管數(shù)據(jù)集里有1行還是多行,視圖里的數(shù)據(jù)都是聚合后的結(jié)果,一行數(shù)據(jù)也是要聚合的,當(dāng)然一行數(shù)據(jù)聚合的結(jié)果是一樣的。實際上,維度為數(shù)據(jù)聚合提供依據(jù),而度量是依據(jù)維度聚合得到的結(jié)果。

配置了聚合計算的計算字段,將根據(jù)配置的維度自動進(jìn)行聚合運算。

如:

  • 求和:SUM([字段])
  • 計數(shù):COUNT([字段])
  • 計數(shù)去重:COUNT(DISTINCT [字段])
  • 求平均值:AVG([字段])

數(shù)據(jù)分析 | 數(shù)據(jù)分析整體框架(二)

數(shù)據(jù)分析 | 數(shù)據(jù)分析整體框架(二)

表述的業(yè)務(wù)含義為時間周圍為2021.3.1 ~ 2021.3.15 范圍內(nèi)pc端的訂單成功率為0.5。

計算過程:根據(jù)created_at=2021.3.1 ~ 2021.3.15 和device =pc ,SUM([總訂單數(shù)])= 2,SUM([成功訂單數(shù)])=1,SUM([成功訂單數(shù)])/SUM([總訂單數(shù)])=1/2=0.5。

Quick BI 提供電子表格和儀表盤兩種可視化工具做以上分析。

電子表格:

數(shù)據(jù)分析 | 數(shù)據(jù)分析整體框架(二)

儀表盤:

數(shù)據(jù)分析 | 數(shù)據(jù)分析整體框架(二)

通過可視化的圖標(biāo)去分析數(shù)據(jù),找出機(jī)會點或者異常。

五、數(shù)據(jù)應(yīng)用

通過可視化的圖表去分析數(shù)據(jù),找出機(jī)會點或者異常??梢哉f,前面1、2、3、4 所有的工作都在為了第5部分?jǐn)?shù)據(jù)應(yīng)用上。

數(shù)據(jù)從用戶中來,通過一系列的數(shù)據(jù)沉淀、處理和分析找出機(jī)會點做決策再回到用戶中去,提升用戶體驗,帶動業(yè)務(wù)增長,此即數(shù)據(jù)驅(qū)動業(yè)務(wù)。

六、結(jié)語

本篇文章介紹了分析數(shù)據(jù)的數(shù)據(jù)框架拆解、數(shù)據(jù)處理加工過程。

但是海量數(shù)據(jù)怎么看,看哪些?度量指標(biāo)應(yīng)該怎么設(shè)計,度量指標(biāo)中什么是業(yè)務(wù)的北極星指標(biāo)等此文還沒提到。

接下來文章將會介紹數(shù)據(jù)指標(biāo)體系搭建和數(shù)據(jù)分析的一些方法,也是整個數(shù)據(jù)分析體系中最核心的內(nèi)容。

#專欄作家#

花開不敗,微信公眾號:涵小仙女,人人都是產(chǎn)品經(jīng)理專欄作家。文藝女青年一枚,白天工作,晚上碼字,愛美、愛跑步、愛旅行,愿我手寫我心,余生不將就。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自 Unsplash,基于 CC0 協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 點贊

    來自重慶 回復(fù)
  2. 這純粹是盜用了人家quick bi的思路,全篇就是講別人的東西!

    來自湖北 回復(fù)
    1. 要是能總結(jié)寫出來,那就是自己的東西了,有何不妥嗎?

      來自廣東 回復(fù)
  3. 寫的很清晰了,剛好最近有個報表用了quickbi

    來自廣東 回復(fù)
  4. 燈塔工廠

    回復(fù)
  5. 燈塔工廠

    回復(fù)
  6. 數(shù)據(jù)應(yīng)用求更新

    來自陜西 回復(fù)
  7. 文章寫的真好,給作者點贊

    來自山東 回復(fù)
  8. 內(nèi)容深入淺出,適合新手閱讀

    回復(fù)