一個好的產(chǎn)品通過產(chǎn)品評估才能衡量其產(chǎn)品效果及業(yè)務(wù)價值，那么對于數(shù)據(jù)產(chǎn)品來說，我們怎么對齊評估呢？本文作者同大家分享一套適用于數(shù)據(jù)產(chǎn)品的評估體系，解答如何評估數(shù)據(jù)餐品的產(chǎn)品效果。

對于數(shù)據(jù)產(chǎn)品經(jīng)理來說，最頭疼的問題就是：當(dāng)我的產(chǎn)品上線之后，我該如何評估我的產(chǎn)品效果？

對于策略產(chǎn)品來說，我可以很輕松的基于實驗組或者對照組，來獲取策略的上線效果。

對于C端&B端產(chǎn)品來說，我可以通過用戶（或商戶）的規(guī)模、增長、活躍、留存等方面來衡量產(chǎn)品對業(yè)務(wù)的價值。

BUT，如果你做的是數(shù)據(jù)產(chǎn)品，或者從更大的范圍來看，從事面向內(nèi)部用戶的后臺產(chǎn)品，你該怎么來衡量產(chǎn)品的價值呢？

這個問題曾經(jīng)困惑了我很久，在這些年的過程中，逐步摸索出一套適用于數(shù)據(jù)產(chǎn)品的評估體系，歡迎大家一起來討論。

一、評估上線效果的重要性

上線效果重不重要？這是一個毋庸置疑的問題。

對于一個團隊來說，上線效果評估是檢驗產(chǎn)品價值的重要方法。而這個問題，卻是數(shù)據(jù)產(chǎn)品們經(jīng)常逃避，或者說不愿意面對的問題。

我分析主要的原因是：評估不清楚。

我上線了一款實時監(jiān)控產(chǎn)品，不是我不想評估，而是我評估不清楚，這里的“清楚”，一方面是指我無法用合理的量化的指標(biāo)來衡量產(chǎn)品的效果，另一方面是指即使我評估了，我也找不到我這款產(chǎn)品與業(yè)務(wù)價值的關(guān)聯(lián)。

在評估不清楚的大背景下，我們可以看到一個有趣的現(xiàn)象：

一般數(shù)據(jù)產(chǎn)品的產(chǎn)品文檔或者上線效果評估中，經(jīng)常會用如下句式來評估產(chǎn)品：

• 賦能…（上線后數(shù)據(jù)賦能某某業(yè)務(wù)）
• 助力…（上線后助力精準(zhǔn)化運營的展開）
• 提升…（大幅提升分析效率）

你看，是不是非常熟悉類似這樣的句式？

如果我用上面類似的句式，這種宏觀的車轱轆話來評估數(shù)據(jù)產(chǎn)品的上線效果，會有什么樣的影響呢？

經(jīng)過這些年的風(fēng)吹雨打，我理解會有如下兩個影響：

1.上線即結(jié)束

你的產(chǎn)品上線即為結(jié)束，你會立刻投入下個產(chǎn)品的進程之中，產(chǎn)品很難有一個系統(tǒng)化的迭代節(jié)奏，因為你沒有清楚的可評估的迭代價值。

2.答辯很吃虧

是的，產(chǎn)品經(jīng)理，無論公司大小，都會面臨成長晉升的問題。

而對于一個數(shù)據(jù)產(chǎn)品，如果你在產(chǎn)品線晉升，面對策略產(chǎn)品各種亮眼的數(shù)據(jù)效果，面對C&B端產(chǎn)品各種的業(yè)務(wù)價值貢獻，你會舉步維艱；

如果你在BI線晉升，面對一個個幫助業(yè)務(wù)決策的分析實例，你毫無勝算。

所以說，數(shù)據(jù)產(chǎn)品的上線效果評估是一件非常重要的事情，不夸張的說，事關(guān)產(chǎn)品生死，個人前途。

二、一般的效果評估方法

既然數(shù)據(jù)產(chǎn)品的效果評估這么重要，那作為一名數(shù)據(jù)PM，我該怎么來評估我的產(chǎn)品呢？一般通用的思路會有如下的兩種方式：

1. 從訪問量的角度

看數(shù)據(jù)產(chǎn)品上線后的PV&UV等，和使用行為相關(guān)的數(shù)據(jù)。

乍一看，這毫無問題；但是我們可以仔細(xì)想一想如下兩個問題：

1）我上線兩款數(shù)據(jù)產(chǎn)品，一款是給10w運營看每天可以產(chǎn)生10w的UV，另一款只給老板看每天僅產(chǎn)生5個UV，請問這兩款產(chǎn)品誰的上線效果好？誰的價值大？

2）實時監(jiān)控產(chǎn)品的要求是每小時看一次，天級監(jiān)控產(chǎn)品的要求是每天看一次，誰的價值更大？

你看，數(shù)據(jù)產(chǎn)品，由于目標(biāo)用戶的局限性與產(chǎn)品本身的定位差異，會導(dǎo)致訪問量存在天然差異，這個差異會讓數(shù)據(jù)產(chǎn)品沒有一個通用的訪問參考系來衡量。

2. 從提效的角度

假設(shè)數(shù)據(jù)產(chǎn)品上線后，產(chǎn)品分析數(shù)據(jù)的效率是excel分析效率的2倍，但是內(nèi)部用戶不用這個數(shù)據(jù)產(chǎn)品，這個時候上線效果是好還是差？

數(shù)據(jù)產(chǎn)品及其依賴于用戶的使用，提效是建立在用戶使用的基礎(chǔ)上，很難從提效這一個單一維度來衡量數(shù)據(jù)產(chǎn)品的效果。

那么，我該如何評估數(shù)據(jù)產(chǎn)品的上線效果呢？

三、一套數(shù)據(jù)產(chǎn)品的效果評估體系

首先，我理解數(shù)據(jù)產(chǎn)品的上線效果，不是對上線結(jié)果的靜態(tài)評估，而是對上線后整個產(chǎn)品運營過程的動態(tài)評估。

什么叫上線結(jié)果的靜態(tài)評估？

類似訪問量等，即為上線后的一個自然結(jié)果。

什么叫上線后整個產(chǎn)品運營過程的動態(tài)評估？

是指上線后，產(chǎn)品經(jīng)理圍繞產(chǎn)品上線進行一系列運營過程，并對其過程進行評估。

我們可以把數(shù)據(jù)產(chǎn)品的上線運營過程拆解成如下模式：

1. 知不知道？

知不知道本質(zhì)是解決產(chǎn)品的觸達問題。

一個完整的產(chǎn)品觸達流程分為如下節(jié)點：目標(biāo)用戶規(guī)模->觸達用戶規(guī)模->真實的打開產(chǎn)品的用戶規(guī)模。

1. 目標(biāo)用戶規(guī)模：代表產(chǎn)品服務(wù)的用戶范圍
2. 觸達用戶規(guī)模：指產(chǎn)品通過社交群組、郵件周知到的用戶范圍
3. 真實的打開產(chǎn)品的用戶規(guī)模：指用戶開通權(quán)限打開產(chǎn)品的使用規(guī)模

這三個節(jié)點可以構(gòu)成兩個核心衡量指標(biāo)：

產(chǎn)品觸達率=觸達用戶數(shù)/目標(biāo)用戶數(shù)

產(chǎn)品打開率=打開用戶數(shù)/觸達用戶數(shù)

基于如上，你就可以在“知不知道”這個層面衡量出產(chǎn)品的上線效果，具體如下：

2. 會不會用？

會不會用本質(zhì)是解決產(chǎn)品的培訓(xùn)問題。

培訓(xùn)不是單純的指召開一場培訓(xùn)會議，而是一系列的運營方法，大致會有如下幾種方法：

1.案例營銷（極其推薦）

經(jīng)過驗證，這是最有效的一種運營方法，你可以多了解業(yè)務(wù)方或者分析師們正在解決的問題，然后嘗試用你的產(chǎn)品形成一個case，用分享的方式告訴他，這是最有效的一種培訓(xùn)方式

2.線上使用手冊（推薦）

可以是文字形式，有條件也可以是視頻形式，注意要進行數(shù)據(jù)產(chǎn)品的埋點，來統(tǒng)計用戶查看使用手冊的頻次

3.培訓(xùn)會議（不推薦，因人而異）

召開一場培訓(xùn)會議，進行產(chǎn)品宣講，一般情況下，這種方式的培訓(xùn)效果并不理想。當(dāng)然，這里的效果取決于你培訓(xùn)時個人的演講能力。

有了運營方法還不夠，我們要在使用后及時監(jiān)測這些方法的使用效果，一般可以通過主觀評價和客觀數(shù)據(jù)來衡量。

可以參考如下方式來評估“會不會用”：

3. 好不好用？

好不好用是指用戶是否有持續(xù)使用的動力？我們可以拆解為如下三個部分來看：

1.動機層面

指用戶使用這個產(chǎn)品的動機是什么？這是好不好用的本質(zhì)原因。如果數(shù)據(jù)產(chǎn)品沒有解決用戶使用的動機，大概率用戶是不會長期來使用的，動機可以分為如下兩點：

1）用戶訴求的解決程度

也就是你的產(chǎn)品是否達成預(yù)期產(chǎn)品的目標(biāo)，以下為舉例：

2）分析效率

你的產(chǎn)品是否提升了用戶的分析效率，以下為舉例：

2.使用行為層面

觀測用戶使用產(chǎn)品的活躍度和使用頻次，注意，這里更關(guān)注的是產(chǎn)品本身的趨勢變化，而不是和其他產(chǎn)品的橫向?qū)Ρ?，以下為舉例：

3.主觀評價層面

可以通過截圖，收集一些用戶反饋，來證實產(chǎn)品的價值。

有條件，可以做一些線上的調(diào)查問卷，在產(chǎn)品上線兩周后發(fā)至用戶；然后基于問卷反饋來簡單的計算產(chǎn)品的NPS。

綜上，我們通過【知不知道-會不會用-好不好用】這個完整的產(chǎn)品上線過程，就可以衡量出一個數(shù)據(jù)產(chǎn)品的上線效果，總結(jié)如下：

最后，想提很重要的一點：數(shù)據(jù)產(chǎn)品的效果評估在當(dāng)下行業(yè)內(nèi)沒有一個共識的基準(zhǔn)，比上線效果評估本身更重要的是縱向和leader、橫向和技術(shù)團隊共識上線效果的評估方法。

只有各方在一個共識語言內(nèi)，你的上線效果評估才有機會得到認(rèn)可并廣泛使用。

作者：羅大大，大數(shù)據(jù)產(chǎn)品專家

本文由 @羅大大 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自 Unsplash，基于CC0協(xié)議