對數(shù)據(jù)分析和數(shù)據(jù)運營感興趣的童鞋看過來！這篇文章中作者深入淺出的闡釋了搭建一款BI系統(tǒng)的方法，分為BI系統(tǒng)的簡介、BI系統(tǒng)分類、BI系統(tǒng)搭建誤區(qū)、BI體系搭建、發(fā)展趨勢等多個維度來談，十分詳細，值得一讀。

一、BI系統(tǒng)介紹

1.1 什么是BI系統(tǒng)

BI的英文全拼是Business Intelligence，商業(yè)智能，簡稱BI。我們經常能聽到企業(yè)說“上BI”、“建設BI系統(tǒng)”、“構建BI決策平臺”等內容。那么BI到底是什么呢？

(1) 最初起源于固定報表

在幾十年前，現(xiàn)代企業(yè)還沒BI的時候，就要固定出報表。

(2) 數(shù)據(jù)倉庫OLAP技術帶來的BI的發(fā)展

隨著企業(yè)的發(fā)展，只看財務、銷售固定報表，已經不能滿足企業(yè)需要了，因為問題越來越復雜，局勢越來越多變，固定報表很難看清業(yè)務狀況，對決策支持越來越有限，但從幾十張常用報表，到開發(fā)幾百、上千張報表，開發(fā)量實在太大。于是產生了OLAP這種技術平臺，來快速實現(xiàn)人們對指數(shù)級上升的報表需求。

而由于報表都是基于歷史數(shù)據(jù)，所以沒必要從業(yè)務系統(tǒng)直接取數(shù)，且過多報表生成要影響業(yè)務系統(tǒng)本身，于是數(shù)據(jù)倉庫應運而生。

(3) 定義

BI就是基于聯(lián)機事務處理（OLTP）產生的海量數(shù)據(jù)，將其從關系數(shù)據(jù)庫中提取出來，通過聯(lián)機分析處理（OLAP）或者數(shù)據(jù)挖掘等技術得出有價值的信息，為管理者提供決策支持。讓企業(yè)通過數(shù)據(jù)，客觀、有預見性地決策，實現(xiàn)智能的商務運作。（BI是面向業(yè)務決策的）

(4) 補充

然而實際情況并非那么理想，無論傳統(tǒng)行業(yè)，還是互聯(lián)網(wǎng)，都在強調拿數(shù)據(jù)說話，但看數(shù)據(jù)，說數(shù)據(jù)，并不意為著你就“智能”了，OLAP分析不能實現(xiàn)智能、數(shù)據(jù)挖掘分析也難以實現(xiàn)智能，原因就是商業(yè)（業(yè)務）的復雜、多變性。這也是我們總是感覺好的BI產品那么少的原因。

1.2 BI系統(tǒng)的分類

(1) 報表式

報表式BI主要是指產品中有各類固定樣式的報表設計，通常用來呈現(xiàn)業(yè)務的明細數(shù)據(jù)和指標匯總，支持的數(shù)據(jù)量相對不大。中國的報表有著復雜的表頭、類似Excel的格式，國內報表工具帆軟FineReport，對于中國式報表支持較好。

(2) 看板式

看板式BI主要是數(shù)據(jù)看板、數(shù)據(jù)大屏、數(shù)據(jù)駕駛艙等，特點是看板中的數(shù)據(jù)指標、展示形式基本固定，以可視化圖表為主，看板式BI對數(shù)據(jù)分析支持較少，并且由于固定指標，所以業(yè)務變化后升級看板BI需要一段時間，因此敏捷性較弱。

(3) 平臺式

平臺式BI主要是BI自助分析平臺，特點是業(yè)務人員或者業(yè)務側數(shù)據(jù)分析師，通過前端簡單工具就可以自行配置需要的數(shù)據(jù)報表、數(shù)據(jù)看板，項目周期短、易于后期維護，隨著數(shù)據(jù)中臺概念的興起，BI平臺成為潮流，數(shù)據(jù)和技術部門回歸技術支持的本位——做好底層技術和數(shù)據(jù)的支撐，由業(yè)務人員自行探索數(shù)據(jù)價值。

(4) 總結

這三類BI產品并無優(yōu)劣之分，各有其適用場景，我們需要根據(jù)業(yè)務發(fā)展的特點和實際需求去選擇合適的BI產品。

舉例子：看板式比起報表式，雖然使用可視化讓數(shù)據(jù)更直觀、更生動了，缺失了很多數(shù)據(jù)細節(jié)。

自助式比起看板式靈活了許多，但是有一定的使用門檻（比如可能需要使用SQL）、也會受到業(yè)務人員數(shù)據(jù)素養(yǎng)的高低的限制（比如是否能將業(yè)務思維轉化為數(shù)據(jù)分析思維）。

今天我們講的BI系統(tǒng)主要是報表式和看板式。

二、BI系統(tǒng)搭建的常見誤區(qū)

2.1 做了一大堆數(shù)據(jù)指標：沒有區(qū)分出指標的重要性

問題：當你不是從0到1跟一個產品，那么此時你可能沒你們的運營懂產品的各項數(shù)據(jù)，當你問你們運營問那些指標是比較重要的，因為他們所處的崗位不同，看事情的角度不同，最后你會發(fā)現(xiàn)得到一個結果：一大堆的指標，都重要。

解法：

① 可以問人事或者他們的部門負責人要一下部門的績效考核指標，也許這些就是他們最重要的指標。

② 可以和部門的負責人溝通，那些是他比較關注的指標，那就應該從這些指標做起。

2.2 指標做了但沒什么用：區(qū)分哪些是虛榮指標

問題：做了很多常見的PV、UV、月活、總用戶數(shù)、總商品數(shù)等等，但是其實這些都是虛榮指標，因為他無法直接促進交易額的增長。uv、月活再多有什么用，用戶就是不購買。

解法：產品經理需要識別那些是虛榮指標，那些是更有用的指標（指標對于商業(yè)目標有直接的作用）。一般能直接促進交易額、類似轉換率這種帶分子、分母的指標都是非虛榮指標。比如：

① 商行業(yè)的主路徑的轉化率，訪問-商品列表、商品列表-商品詳情、商品詳情-加購、加購-下單轉化率，這些都是降低流失就能提高交易額的。

② 用戶的次日留存、7日留存率（新用戶7日后是否再次訪問）、30日留存率等，這些能直接反應用戶的質量和運營做的好壞。

③ 商品的動銷率（銷售款數(shù)/上架款數(shù)），能直接反映這批商品的好壞。

2.3 難以兼顧各類用戶的需求：按主題進行BI看板設置

問題：每個人關注的數(shù)據(jù)粒度不太一樣，老板關注的和部門領導關注的是有差別的、部門領導關注的和一線的執(zhí)行人員關注的還是有差別的。

解法：這種情況，不能把看板都做在一起。而是按照主題進行區(qū)分。

在主題內，按照一定的數(shù)據(jù)分析邏輯、數(shù)據(jù)查看邏輯建立起一定的故事體系，幫助用戶理解主題。

2.4 產品上線后老板對BI感受不深：如何體現(xiàn)出產品價值

問題：需要區(qū)分你的BI產品是面向哪類業(yè)務人員的，老板感受不深可能他并不是這個BI系統(tǒng)的核心用戶。

解法：BI產品上線后不是就結束項目了，而是要持續(xù)地進行產品運營：

① 進行產品埋點，了解用戶的使用情況，好的產品一定能夠獲得業(yè)務人員的喜歡。

② 對業(yè)務人員進行使用培訓，多和他們溝通，不斷升級迭代，最終打造出一個有生命力的版本。

③ 日常運維一定要做好，保證數(shù)據(jù)的及時、準確，否則做了再多培訓推廣，產品質量不過關，也會沒有口碑。

三、BI系統(tǒng)體系搭建

3.1 BI系統(tǒng)包含哪些模塊

• 數(shù)據(jù)采集：內部數(shù)據(jù)、外部數(shù)據(jù)· 數(shù)據(jù)開發(fā)ETL：數(shù)據(jù)處理，數(shù)據(jù)放入數(shù)據(jù)倉庫，按照BI需求進行應用層數(shù)據(jù)開發(fā)。
• 數(shù)據(jù)算法/模型：數(shù)據(jù)挖掘算法，如預測、歸因……
• 前端應用展示：前端可視化、實時更新、大數(shù)據(jù)量秒極查詢
• 權限管理：用戶訪問權限管理，一般到頁面、到按鈕。
• 監(jiān)控：數(shù)據(jù)異常報警、日常訪問情況統(tǒng)計。

3.2 BI系統(tǒng)搭建的業(yè)務調研：保證產品不走偏的前提

(1) 確定我們的業(yè)務用戶、產品目標。一般來講有兩種情況：

① 項目有發(fā)起方，那么和發(fā)起方的領導層去溝通了解發(fā)起B(yǎng)I系統(tǒng)項目的背景、要解決什么問題，明確產品大方向。

② 如果是技術部門自己驅動的BI系統(tǒng)項目，則立項階段還需要做好公司內部使用BI現(xiàn)狀（或者數(shù)據(jù)使用現(xiàn)狀）的調研。

(2) 用戶調研：用戶故事地圖

BI應用是基于業(yè)務流程和數(shù)據(jù)的，IT測試人員僅能夠檢查計算結果是否準確，但無法判斷分析圖表是否符合業(yè)務要求，數(shù)據(jù)結果是否有商業(yè)意義等。

用戶故事地圖是一種比較好的需求調研和需求梳理方法，能夠建立起團隊對需求的全局把握，又不失細節(jié)。

因為我們今天不是講用戶調研，就不展開了，大家感興趣可以去找一些資料來看。

(3) 決定產品規(guī)劃方案、選型

① 產品規(guī)劃方案：功能分組、分期（優(yōu)先級）

② 選型：報表式、看板式、平臺式

3.3 BI系統(tǒng)的設計原則

確定了產品方案和路線圖，接下來就需要進行系統(tǒng)設計，這里分享幾個設計原則：

(1) 簡單易用、數(shù)據(jù)準確

BI應用是否符合用戶習慣，數(shù)據(jù)是否準確及時，是BI能否活下來的關鍵。

① 報表式BI：如何將表格中的細節(jié)數(shù)據(jù)更加友好的展示；

② 看板式BI：注重核心指標，指標與指標之間的故事性、分析思維；

③ 平臺式BI：盡可能考慮低代碼支持、可視化操作、所見即所得等，畢竟業(yè)務人員會SQL不多；

(2) 可以集成現(xiàn)有系統(tǒng)

能夠適配企業(yè)現(xiàn)有數(shù)據(jù)庫選型，能保證項目在數(shù)據(jù)采集/數(shù)據(jù)接入時能夠順利

(3) 考慮多場景支持

① PC和移動兩類使用場景

盡量在架構設計時就考慮未來移動端、PC端兼容的方案，要知道任何BI系統(tǒng)最后都會面臨移動化。

② 統(tǒng)一支持的數(shù)據(jù)分享方式

需要對數(shù)據(jù)下載、數(shù)據(jù)導出等數(shù)據(jù)分享方式進行統(tǒng)一設計。

(4) 考慮引入算法、模型

不要僅僅把BI當成一款『看數(shù)』工具，在產品設計時適當考慮引入算法或者未來引入算法模塊的技術架構，能夠提升產品的定位，有助于發(fā)揮更大的價值。

(5) 考慮數(shù)據(jù)監(jiān)控、權限

一定要在架構上就考慮數(shù)據(jù)異常的監(jiān)控機制和權限管理，否則后期加起來很痛苦。權限上，要注意考慮數(shù)據(jù)權限的設計（同一頁面不同的崗位看到的數(shù)據(jù)內容范圍不同，例如華北區(qū)域只能看到華北區(qū)域的數(shù)據(jù)，這就是數(shù)據(jù)權限。）

四、BI系統(tǒng)未來發(fā)展趨勢

4.1 分析時刻

分析時刻是Gartner定義的一種數(shù)據(jù)分析流程，通過對數(shù)據(jù)進行可視化、探索和應用算法，支持業(yè)務成果的交付，從而做出更好或更快的決策，實現(xiàn)業(yè)務流程的自動化。隨著數(shù)據(jù)使用門檻逐步降低，自助式、平臺式BI成為趨勢，數(shù)據(jù)分析的主動權會逐步轉移到業(yè)務人員手中，數(shù)據(jù)分析直接由遇到業(yè)務問題的業(yè)務人員發(fā)起，業(yè)務人員可以使用數(shù)據(jù)分析工具/平臺完成數(shù)據(jù)分析內容。

舉例：當一名業(yè)務人員想知道某個商品的線上銷售預測，或者為什么購物車中的商品沒有被某些客戶轉化為購買，在過去，這名業(yè)務人員必須求助于IT部門的專業(yè)數(shù)據(jù)分析師（提取可能相關的數(shù)據(jù)，輸出特定分析報告）、數(shù)據(jù)科學家（建立預測模型），但是試想一下，如果BI系統(tǒng)中建立了常用的預測算法模型、歸因分析工具，可以方便的連接數(shù)據(jù)集，業(yè)務人員自主快速完成分析內容，他通過自助分析很快就知道了這幾個數(shù)據(jù)結論或者問題原因，從而做出業(yè)務上的反饋。

4.2 增強分析

增強分析主要是指以機器學習為基礎的數(shù)據(jù)分析和BI功能，通過機器學習、人工智能等技術的應用將常見通用的數(shù)據(jù)分析的場景沉淀為產品功能中，幫助普通用戶在沒有數(shù)據(jù)科學專家或 IT人員協(xié)助的情況下完成數(shù)據(jù)分析。增強分析的底層理念是“簡單易用”，能夠支撐用戶在沒有專業(yè)知識背景下，完成數(shù)據(jù)的“收集-準備-整合和分析”全過程。

增強分析包含增強數(shù)據(jù)準備、增強機器學習、增強數(shù)據(jù)分析這些模塊。這里主要講在數(shù)據(jù)分析中的應用趨勢。

(1) NLP和NLG的應用

① 自然語言分析，無需寫SQL，通過語言和可視化來分析數(shù)據(jù)

舉例：ThoughtSpot使用搜索和NLP作為訪問數(shù)據(jù)的主要界面，用戶可以通過打字或者語音提出問題。

② 對話式數(shù)據(jù)分析，數(shù)據(jù)對話機器人

自然語言轉化成 SQL，再將 SQL 結果集轉化成可視化的圖形，形成了”NL2SQL2Graph”的完整鏈路。

舉例：阿里小蜜（入口：淘寶）

③ NLG技術（自然語言生成），將機器分析出的觀點結論以語言形式展現(xiàn)給用戶。

舉例：tableau的explain Data功能，會自動針對所選值提供由 AI 驅動的解釋。此功能會在后臺檢查數(shù)百個可能的解釋，并呈現(xiàn)可能性最大的那些解釋。

(2) 自動洞察和自動可視化① 自動洞察( automated insights )

自動洞察是指機器自動地從數(shù)據(jù)中發(fā)現(xiàn)潛在信息和價值：發(fā)現(xiàn)數(shù)據(jù)之間的關聯(lián)、發(fā)現(xiàn)數(shù)據(jù)異常、自動進行聚類。

現(xiàn)在大部分的主流 BI 平臺都有自動洞察的相關功能推出。

舉例：微軟的 PowerBI 的Quick Insights 功能能夠自動對于源數(shù)據(jù)做出各種交叉的一階或者多階計算 ( 百分比，排序，同環(huán)比 )，從而挖掘數(shù)據(jù)內部各種趨勢。

https://www.c-sharpcorner.com/article/quick-insights-and-power-bi/

②自動可視化 ( automated visualization )

根據(jù)數(shù)據(jù)結果自動的選擇可視化的方式進行展示，以清晰的展現(xiàn)數(shù)據(jù)分析結果。

有2個方向：

• 自動選擇圖表：當查詢出數(shù)據(jù)集后，機器會根據(jù)數(shù)據(jù)特點，自動生成合適的圖表。圖表自動化現(xiàn)在主流的BI工具都已經支持了，比如tableau，選擇好數(shù)據(jù)集后第一眼看到的不是數(shù)據(jù)，而是自動的可視化圖表。
• 自動生成報告：比自動選擇圖表更高一層，自動生成報表布局、配置控件、圖表聯(lián)動等。

技術上有2種實現(xiàn)方法：

• 基于規(guī)則：預先設置好規(guī)則庫，根據(jù)規(guī)則生成圖表，規(guī)則庫的質量是關鍵。
• 基于模型：將問題轉化為分類或者排序問題），數(shù)據(jù)本身的特征與可視化圖表的特征是關鍵。

4.3 嵌入式分析

將特定的數(shù)據(jù)分析方法集成到業(yè)務系統(tǒng)中。BI系統(tǒng)的頁面可以用于嵌入到其他系統(tǒng)中，這樣對產品未來發(fā)展很有好處：

• 能夠擴大BI的適用范圍，也便于未來產品規(guī)劃的升級
• 業(yè)務人員在產生數(shù)據(jù)的系統(tǒng)內就能看到數(shù)據(jù)的分析結果，增加了體驗，并且使用起來流程、體驗都很順

4.4 預測和決策建議

通過大量人工業(yè)務分析總結出的業(yè)務經驗、再加上AI和機器學習技術的加持，讓機器一次性完成業(yè)務分析和行動建議。比如：taobao的生意參謀，會根據(jù)數(shù)據(jù)指標提供對應的營銷工具或學習資料。