數(shù)據(jù)會說謊 | 產(chǎn)品經(jīng)理要避免哪些數(shù)據(jù)的坑?

3 評論 14527 瀏覽 87 收藏 12 分鐘

很多優(yōu)秀甚至偉大的產(chǎn)品決策,并非通過數(shù)據(jù)發(fā)現(xiàn)的,而是一個產(chǎn)品經(jīng)理綜合智慧的體現(xiàn)。

產(chǎn)品經(jīng)理所面對的數(shù)據(jù),本質(zhì)上和日常生活中的數(shù)據(jù)沒有太大的差別。簡單來說,都是一個量化事物的手段,就像身高、體重一樣,都是一個數(shù)字指標,它代表了現(xiàn)實存在的事物的一個客觀情況。

正是因為數(shù)據(jù)的客觀性,讓數(shù)據(jù)變成了發(fā)掘問題本質(zhì),尋找事物規(guī)律所需要用到的最有利的手段之一。

數(shù)據(jù)雖然客觀,但是有時也會騙人,而且騙人的方式不同。

1、障眼法欺騙

案例一:?把沉默用戶當做支持和反對的中間態(tài)

2家網(wǎng)站A和B,都經(jīng)營類似的業(yè)務(wù),都有穩(wěn)定的用戶群。它們都進行了類似的網(wǎng)站界面改版。改版之后,網(wǎng)站A沒有得到用戶的贊揚,反而遭到很多用戶的臭罵;而網(wǎng)站B既沒有用戶夸它,也沒有用戶罵它。如果從數(shù)據(jù)來看, 應(yīng)該是網(wǎng)站B的改版相對更成功, 因為沒有用戶表達不滿。但事實并非如此。網(wǎng)站A雖然遭到很多用戶痛罵,但說明還有很多用戶在乎它;對于網(wǎng)站B,用戶對它已經(jīng)不關(guān)心了.網(wǎng)站A指的是Facebook,網(wǎng)站B是微軟旗下的Live Space。

案例二:?把某一類型數(shù)據(jù)當做全部數(shù)據(jù)導致分析結(jié)果錯誤

某產(chǎn)品想要看網(wǎng)站現(xiàn)在的用戶訪問量是什么狀態(tài),于是選擇了PV作為觀測指標,通過alexa來看網(wǎng)站的PV在過去一年中呈明顯的下降態(tài)勢,于是就以此為論據(jù)進行了分析。

可是后來發(fā)現(xiàn),alexa僅僅統(tǒng)計通過WEB的訪問量,而用戶移動端的登錄并不在統(tǒng)計范圍之內(nèi)。由于微信等移動端應(yīng)用的使用,一大部分人會通過移動端的途徑進入,缺失這部分數(shù)據(jù)意味著前面統(tǒng)計的數(shù)據(jù)基本沒有意義,因為WEB端訪問量的下降有可能是用戶訪問網(wǎng)站次數(shù)降低,同時也有可能是由PC端向移動端遷移,這個統(tǒng)計就不能作為論據(jù)出現(xiàn)了。

2、單一欺騙法

案例一:將指標分開單一看,忽略多環(huán)節(jié)指標

在統(tǒng)計用戶反饋的時候,只看到幾個用戶反饋一個問題,這些反饋在整個問題里占比只有1%,你覺得這個太低了,不加以重視!但是,你不知道另外99%遇到這個問題的用戶很可能卸載你了?。?!

案例二? :?高流量即高轉(zhuǎn)化?錯!

一篇文章百度帶來100個leads,微信帶來80個leads。但百度帶來的流量最終轉(zhuǎn)化為60個注冊用戶,微信渠道最終轉(zhuǎn)化了64個注冊用戶,哪個渠道比較好,不能單純根據(jù)流量來源多少定吧?

圖/數(shù)極客用戶行為分析工具

大流量、收錄高是獲得好轉(zhuǎn)化、好排名的基礎(chǔ),是敲門磚。但絕不是決定性的唯一因素。某些情況下,大流量是獲得轉(zhuǎn)化的前提,也就我們平常所說的擴大用戶池子。在獲得流量后需要考慮如何提高產(chǎn)品轉(zhuǎn)化。但某些情況下,流量轉(zhuǎn)化的高低取決于渠道質(zhì)量的好壞。

3、被動欺騙法

案例一? :?只看數(shù)據(jù)不考慮其他因素

比如:A入口的留存率是30%,B入口的留存率是50%,大多人都覺得B入口的功能更吸引用戶。但你忘記了B入口藏的非常深啊,進到這里的用戶都是非常忠實的用戶當然留存高啊,這就根本沒法說明B比A好。

案例二 :?只關(guān)注產(chǎn)品而不關(guān)注外界的決定性因素

當年Firefox用戶與Mac用戶對支付寶重要與否,單從瀏覽器數(shù)據(jù)統(tǒng)計看,F(xiàn)irefox訪問支付寶的比例太低了。不過因為支付寶不支持Firefox,所以,這個比例不能用作判斷的依據(jù)。Mac用戶也是一樣。再說一個,支付寶當年代繳水電煤的項目改版之后,發(fā)現(xiàn)繳費用戶立刻暴增,產(chǎn)品人員欣喜若狂。后來某同學分析一下,原來那幾天是每個月水電煤繳費高峰期,周期性的抽風。其實呢,分析一下我國有關(guān)部門發(fā)布的數(shù)據(jù),你會發(fā)現(xiàn)那都是一些說謊的數(shù)據(jù)。

案例三? :?數(shù)字背后對應(yīng)的內(nèi)容可能更重要

改版了款wap產(chǎn)品,沒做任何推廣前提下,發(fā)現(xiàn)流量飆升,尤其匿名用戶漲了3倍。因為產(chǎn)品本身用戶基數(shù)低,所以流量翻了兩三倍也算正常。當時估計是SNS的口碑傳播導致的。但最后還是覺得不對勁,查了一下,發(fā)現(xiàn)是搜索引擎在抓頁面,因為改版了,所以它們要重新抓一次??諝g喜一場。數(shù)字還是那個數(shù)字,但背后它到底對應(yīng)了什么內(nèi)容,常常被忽略了。在與數(shù)據(jù)打交道的過程中,我們會因為各種原因,導致分析的結(jié)論出現(xiàn)較大的偏頗。

那如何避免被 “說謊的數(shù)據(jù) ”欺騙呢?

警惕5大誤區(qū),讓數(shù)據(jù)不在說謊

(1)選取的樣本容量有誤

08年奧運會上,姚明的三分投籃命中率為100%,科比的三分投籃命中率為32%,那么是不是說姚明的三分投籃命中率要比科比高?

顯然不能這么說,因為那屆奧運會,姚明只投了一個三分球,科比投了53個。

因此,在做數(shù)據(jù)對比分析時,對于樣本的選取,需要制定相同的抽樣規(guī)則,減少分析結(jié)論的偏差性。

抽取樣本的方法有:

  • 隨機抽樣
  • 系統(tǒng)抽樣
  • 整群抽樣
  • 分層抽樣

各種抽樣方法的抽樣誤差一般是:整群抽樣≥單純隨機抽樣≥系統(tǒng)抽樣≥分層抽樣。

圖/數(shù)極客用戶行為分析工具

(2)忽略沉默用戶

用戶迫切需要的需求≠產(chǎn)品的核心需求

產(chǎn)品經(jīng)理在聽到部分用戶反饋的時候就做出決策,花費大量的時間開發(fā)相應(yīng)的功能,往往結(jié)果,可能這些功能只是極少部分用戶的迫切需求,而大部分用戶并不在乎。

忽略沉默用戶,沒有全盤的考慮產(chǎn)品大部分目標用戶的核心需求,可能造成人力物力的浪費,更有甚者,會錯失商業(yè)機會。

(3)混淆關(guān)聯(lián)與因果

某電商網(wǎng)站數(shù)據(jù)顯示,商品評論的數(shù)量與商品銷售額成正比。即一個商品評論數(shù)量越多,那么該商品的銷售額也會越高。

假如我們認為評論多是銷量高的原因的話,數(shù)據(jù)分析的結(jié)論就會指導我們,需要創(chuàng)造更多的商品評論來帶動商品銷量。

但如果真的這樣操作的話,就會發(fā)現(xiàn)很多商品的銷量對于評論的敏感度并不一樣,甚至很多商品銷量很高,但與其評論的多少毫無關(guān)系。

這里,我們就需要思考,評論真的是影響銷量的必然因素嗎?

除了評論之外,影響銷量的因素,還有其質(zhì)量、價格、活動等,如果能完整的認識到這些因素,那我們要拉升商品銷量,首先會需要先從其他角度來考慮,而非評論入手。

因此,在分析數(shù)據(jù)的時候,正確判斷數(shù)據(jù)指標的邏輯關(guān)系,是指導我們做出產(chǎn)品決策的前提。

(4)可視化表達方式有誤

用來表達數(shù)據(jù)的圖表的長寬,取值的間隔,數(shù)據(jù)的標準化等都會造成視覺上的誤差。

由上圖可知,如果數(shù)據(jù)的取值間隔劃分過大(等比數(shù)列 1,10,100,1000,10000)而不是標準等差數(shù)列(1,2,3,4),則數(shù)據(jù)之間巨大差異會被縮小。

  • 左圖暗示“湖北、河南、江蘇總產(chǎn)值排名前三遠超其他省市”
  • 右圖暗示“各省市總產(chǎn)值相差并不太大”

數(shù)極客在可視化數(shù)據(jù)看板里面,采用統(tǒng)一的圖表標準,選用最適合企業(yè)查看的數(shù)據(jù)表達方式。不僅擁有可視化圖表,而且還有可視化埋點,讓數(shù)據(jù)分析完全自動化,定制化。

圖/數(shù)極客用戶行為分析工具

(5)過度依賴數(shù)據(jù)

過度依賴數(shù)據(jù),一方面,會讓我們做很多沒有價值的數(shù)據(jù)分析;另一方面,也會限制產(chǎn)品經(jīng)理本來應(yīng)有的靈感和創(chuàng)意。

比如,分析馬車的數(shù)據(jù),很可能我們得出的結(jié)論,是用戶需要一匹更快的馬車。如果過度依賴數(shù)據(jù),局限了我們的思維,就很有可能不會有汽車的誕生。

很多優(yōu)秀甚至偉大的產(chǎn)品決策,并非通過數(shù)據(jù)發(fā)現(xiàn)的,而是一個產(chǎn)品經(jīng)理綜合智慧的體現(xiàn)。

數(shù)據(jù)是客觀的,但是,解讀數(shù)據(jù)的人是主觀的。

只有正確的認識數(shù)據(jù),才能正確的利用數(shù)據(jù)。

強大的功能和嚴謹?shù)臄?shù)據(jù)分析邏輯已經(jīng)被越來越多的產(chǎn)品經(jīng)理,運營人員所推薦。

 

文/老衲原創(chuàng),部分內(nèi)容選自人人都是產(chǎn)品經(jīng)理

作者:老衲(公眾號:ifenxipai),數(shù)極客數(shù)據(jù)分析師,新媒體運營。玩轉(zhuǎn)運營及數(shù)據(jù)分析的應(yīng)用,擁有大量相關(guān)經(jīng)驗。

本文由 @老衲 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自 Pexels,基于 CC0 協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 寫得不錯,感謝分享~雖然是篇軟文??

    回復(fù)
  2. 再一次讓我想起世界杯 巴西VS德國,控球射門數(shù)據(jù)勢均力敵,但結(jié)果就是7比1

    來自北京 回復(fù)