優(yōu)秀產(chǎn)品經(jīng)理如何精準(zhǔn)發(fā)現(xiàn)問題(下):效果回歸與階段性調(diào)研
產(chǎn)品經(jīng)理的核心只有一個,那就是發(fā)現(xiàn)和解決問題。我們往往更加關(guān)注解決問題的方式方法,而忽略了發(fā)現(xiàn)問題的能力。
一、效果回歸與階段性調(diào)研概論
1. 效果回歸與階段性調(diào)研對產(chǎn)品生命周期的意義
- 判斷和決定產(chǎn)品循環(huán)是否終止
- 確定產(chǎn)品接下來的計劃
2. 對自我成長的意義
- 驗證解決方案的可行性
- 修正和鞏固自身的方法論
3. 概念:階段性調(diào)研是針對產(chǎn)品現(xiàn)狀進行的系統(tǒng)性分析
此時的分析結(jié)論最能代表產(chǎn)品問題全貌,可以有效指導(dǎo)下階段的產(chǎn)品計劃
二、階段性調(diào)研的時間節(jié)點(在什么時間會進行系統(tǒng)性的階段性調(diào)研)
- 接觸新產(chǎn)品:接手一個新的產(chǎn)品或者產(chǎn)品方向時,對產(chǎn)品進行深入的了解
- 周期性回顧:每個月/季度/半年進行定期的周期性回顧
- 不定期(突發(fā)性)回顧:領(lǐng)導(dǎo)、政策上的調(diào)整需要
三、階段性調(diào)研通用方法論(普適,也適用于人生)
定義理想態(tài)——拆解未達理想態(tài)的短板——提出解決方案——驗證是否解決。
階段性調(diào)研更關(guān)注前兩個環(huán)節(jié):
step 1:找到理想態(tài),定義理想態(tài)并以數(shù)字化的指標(biāo)或其他標(biāo)準(zhǔn)來衡量。
這是一個非常嚴(yán)謹?shù)亩x過程,需要PM 明確的知道自己產(chǎn)品的目標(biāo)是什么,是各個部門共同努力的方向。
step 2:抽樣分析,將所以不到理想態(tài)的case抽樣分析,通過分析明確各case未到理想態(tài)的原因。
step 3:優(yōu)先級判斷,將所有問題進行匯總,根據(jù)影響面、問題嚴(yán)重程度、解決問題所需成本進行優(yōu)先級排序,作為接下來的項目計劃。
1. 找到理想態(tài)詳解
(1)如何找到理想態(tài)
任何一個產(chǎn)品都用來解決用戶的問題滿足用戶的需求,所以產(chǎn)品的理想態(tài)可以統(tǒng)一的理解為:給出的方案確確實實解決了用戶的問題,比如用百度查到了自己需要的信息,用滴滴到達了目的地,用頭條找到了自己感興趣的內(nèi)容并消費了時間。
接下來要找到能衡量理想態(tài)的數(shù)字化指標(biāo)或者明確的標(biāo)準(zhǔn):
A. 滴滴:容易理解,使用訂單成交率可以衡量用戶是否到達目的地
B. 墨跡天氣:使用天氣準(zhǔn)確率可以衡量用戶是否獲取了正確的天氣
以上為剛需類、工具類產(chǎn)品中的策略模塊,通??梢砸浴敖鉀Q了用戶的問題”作為理想態(tài),并找到一個標(biāo)志性的數(shù)據(jù)指標(biāo)來衡量是否到達理想態(tài)。
C. 百度的搜索滿意程度
點擊率:高點擊率不能說明滿意,低點擊率也不能說明不滿意(搜索時間)。搜索結(jié)果是平臺對滿足大多數(shù)用戶的你內(nèi)容猜測,并不一定適用于每一個用戶,比如在餓了么搜索麥當(dāng)勞,展示所有麥當(dāng)勞店鋪即可,而在搜索引擎顯然不能這么簡單。
頭條:不能確定停留時間為多長則表示用戶對產(chǎn)品滿意。
搜索:對這種產(chǎn)品的理想態(tài)描述較為復(fù)雜,并不明晰,更別說使用單一指標(biāo)了。需要pm基于對用戶的理解、參照競品,比如搜索完肯德基創(chuàng)始人再搜麥當(dāng)勞,那他很可能想搜麥當(dāng)勞創(chuàng)始人。
通常這種復(fù)雜的產(chǎn)品,會以平臺當(dāng)前能夠給出的最佳產(chǎn)品方案(PM以為最合理的狀態(tài)) 作為理想態(tài),而不一定能夠100%滿足所有人的所有需求。
推薦:平臺是在有根據(jù)的猜測有用的非崗需求,永遠不會清楚的知道最標(biāo)準(zhǔn)的答案時什么,所以同樣以當(dāng)前能夠給出的最佳產(chǎn)品方案作為理想態(tài)。再用策略推薦出的結(jié)果在所有推薦候選中是否為最佳結(jié)果、用戶行為指標(biāo)作為發(fā)現(xiàn)問題的輔助手段。
注意:所有的理想態(tài)都是為階段性產(chǎn)品目標(biāo)服務(wù)而服務(wù)的,隨著產(chǎn)品的發(fā)展,理想態(tài)的定義也在進化甚至質(zhì)變,比如從馬車到汽車的道理。
再比如滴滴:
剛開始做出租車,以司機的應(yīng)答率作為核心指標(biāo),不太關(guān)心司機應(yīng)答后的流程;后來做快車專車,有了更完整的使用環(huán)節(jié),覆蓋更完整的出行流程,這時以訂單的成交率作為指標(biāo),監(jiān)控用戶從叫車到目的地的完整閉環(huán);接下來可能會往快速到達方向進步等。
再比如百度:
剛開始,致力于用戶所搜索的每個關(guān)鍵詞都能有對應(yīng)的結(jié)果;有了用戶行為的反饋之后,變會對一個用戶進行用戶畫像,從而滿足每一個人的每個搜索,致力于提高每次搜索的滿意度。
2. 抽樣分析
正因為成本問題,時間成本、運算能力分析,使我們無法完全了解每個用戶,所以采用抽樣分析。樣本通常被稱為case。
(1)抽樣步驟:確定調(diào)研目標(biāo) → 確定抽樣對象 → 選擇抽樣方法 → 確定抽樣數(shù)量 → 樣本分析標(biāo)注 → 整理匯總問題
調(diào)研目標(biāo)決定了抽樣對象和抽樣方法,根據(jù)目標(biāo)確定抽樣對象的維度(用戶、訂單等),抽樣方法有隨機、等分等。
首先要明確調(diào)研的目標(biāo),幫助確定抽樣的對象的方式!?。?/p>
案例:分析“相關(guān)視頻”推薦策略的問題 → 抽取推薦視頻列表,看內(nèi)容和排序是否合理
分析以上模塊紅廣告視頻推薦策略,如果抽取當(dāng)前展現(xiàn)出來的廣告視頻進行抽樣分析,則會出現(xiàn)問題:只能分析出當(dāng)前展示的廣告的準(zhǔn)確率,而不能分析出廣告的覆蓋程度,是否有其他適合展示的廣告的視頻下方未進行展示。而相關(guān)視頻則沒有覆蓋率的問題。
所以要確定正確的抽樣對象,同時滿足準(zhǔn)確率和覆蓋率(召回),以上案例應(yīng)該在有廣告展示的地方調(diào)研準(zhǔn)確率,沒有廣告的地方調(diào)研覆蓋率。
(2)確定抽樣對象:通過一定規(guī)則篩選出的待分析的全量集合
不考慮成本肯定是全量調(diào)研,但是成本有限就需要抽樣。
篩選規(guī)則:
未達到核心指標(biāo)(一定規(guī)則,比如只需篩選當(dāng)前版本的用戶而不需要篩選上一版本的用戶,或者可以代表一個用戶生命周期的用戶,比如有循環(huán)效應(yīng)的產(chǎn)品,用戶每天的行為沒什么差異,則選取一天的即可。有明顯時間效應(yīng)的,周末和平時不一樣,則需要對一整周進行抽樣)
樣本類型:用戶個體、行為片段(用戶的行為動作session,翻頁、點贊、瀏覽等,代表一個用戶帶著場景和需求在自家產(chǎn)品上的完整流程)、搜索詞(query,抽樣搜索詞調(diào)研滿足情況)、訂單(訂單的完成情況、訂單后的推薦等)
案例:滴滴訂單成交問題
取樣:全國一周內(nèi)(明天的周末效應(yīng),取一周為一個周期)內(nèi)所有未成交(未成交、差評重點關(guān)注)的訂單中抽樣。
案例:美團搜索問題
取樣:因為無法直接通過數(shù)字性指標(biāo)精準(zhǔn)篩選,所有只能從一天的全量用戶session中抽樣,然后人為進行進一步篩選
(3)選擇抽樣方式:常用的抽樣方法是隨機抽樣
隨機抽樣:從N個單位中任意抽取n個,每個樣本被抽中的概率相等,適用于大多數(shù)場景.隨機抽樣也有很多細分方法,不再贅述。
選擇抽樣數(shù)量:統(tǒng)計學(xué)角度,樣本數(shù)越大越好。
統(tǒng)計角度,樣本數(shù)量越高越好,結(jié)果的準(zhǔn)確率就會越好,但是調(diào)研成本也會越高,所以調(diào)研成本是精度和成本的balance,有統(tǒng)計意義即可。
經(jīng)驗值:一般問題:盡量使代表某個問題的樣本數(shù)量≥5,或者影響面≥3%即可。
樣本標(biāo)注分析:對抽樣的case進行過逐一分析
人工對每個case進行分析,太過于細節(jié),不再贅述
整理匯總問題:按照合理的邏輯框架進行整理匯總,普適
- 上下層級:總分關(guān)系
- 同層級之間:相互排斥不重疊,不遺漏
3. 優(yōu)先級判斷
單位成本下的收益從大到小即優(yōu)先級從高到底。
單位成本下的收益:ROL=項目收益/項目成本
當(dāng)ROL相同時取絕對20天內(nèi)收益絕對值更大的那個,同時兼顧影響面、惡劣程度、國家政策等(也就是較為常見的四象限判斷法)
計算方式:
- 項目收益:待解決問題影響面(調(diào)研結(jié)果直接得到,百分比)*解決后體驗提升程度(現(xiàn)階段與理想態(tài)的差距)*預(yù)期解決比例(由開發(fā)給出,解決之后可以解決到什么程度)
- 項目成本:一般指研發(fā)成本和硬件等成本
優(yōu)先級判斷很重要:直接決定后續(xù)的產(chǎn)品計劃
至此,階段性調(diào)研的方法論已全部完成。
作者:海燕是只蠢貓,微信公眾號:雙手伐孤木
本文由 @海燕是只蠢貓 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議。
- 目前還沒評論,等你發(fā)揮!