獲獎(jiǎng)作品|騰訊移動(dòng)分析MTA產(chǎn)品評(píng)測(cè):我的數(shù)據(jù)驅(qū)動(dòng)實(shí)戰(zhàn)分析
本文作者將在此與大家分享其對(duì)MTA進(jìn)行的產(chǎn)品評(píng)測(cè),以及結(jié)合自身運(yùn)營(yíng)經(jīng)驗(yàn)講述他的數(shù)據(jù)驅(qū)動(dòng)實(shí)踐分析。enjoy~
隨著移動(dòng)互聯(lián)網(wǎng)下半場(chǎng)的到來(lái),產(chǎn)品運(yùn)營(yíng)日趨精細(xì)化,類似增長(zhǎng)黑客、數(shù)據(jù)驅(qū)動(dòng)的意識(shí)越來(lái)越深入到每一個(gè)互聯(lián)網(wǎng)人的心中。與此同時(shí),為了滿足我們數(shù)據(jù)驅(qū)動(dòng)的訴求,移動(dòng)統(tǒng)計(jì)平臺(tái)也越來(lái)越多,擺在我們面前的是兩個(gè)主要問(wèn)題:
- 如何辨別和選取一個(gè)好平臺(tái)?
- 是自建平臺(tái)還是接入第三方?
筆者有幸在負(fù)責(zé)運(yùn)營(yíng)的過(guò)程中,接入并體驗(yàn)過(guò)多個(gè)數(shù)據(jù)平臺(tái),最終我們還是選擇了騰訊移動(dòng)分析MTA和自建平臺(tái)相結(jié)合的方式。這篇文章我將帶著這兩個(gè)問(wèn)題來(lái)進(jìn)行MTA的評(píng)測(cè)并講述我的數(shù)據(jù)驅(qū)動(dòng)實(shí)踐分析。
一. MTA是否稱得上好平臺(tái)?
個(gè)人認(rèn)為一個(gè)好的平臺(tái)應(yīng)該是要做好下面4個(gè)方面:
- 數(shù)據(jù)定義明確,且能針對(duì)各個(gè)類型的應(yīng)用進(jìn)行特殊化處理;
- 數(shù)據(jù)采集的實(shí)時(shí)性、準(zhǔn)確性、穩(wěn)定性和個(gè)性化;
- 數(shù)據(jù)維度足夠廣;
- 數(shù)據(jù)深度足夠深。
那么,MTA在這4個(gè)方面體驗(yàn)又如何呢?具體說(shuō)一下我的感受:
1. 數(shù)據(jù)定義方面
數(shù)據(jù)定義是一個(gè)很容易被使用者忽略的問(wèn)題,但是卻是一個(gè)很關(guān)鍵的問(wèn)題。你不妨反問(wèn)自己一句,什么是活躍用戶?如果讓你來(lái)定義,你會(huì)如何定義?
剛剛接觸的時(shí)候,我覺(jué)得只要打開(kāi)過(guò)APP的用戶就算是活躍用戶。事實(shí)遠(yuǎn)比我最初想的要復(fù)雜,我們可以看到MTA的在這一塊做的還是很細(xì)致的。
主要表現(xiàn)在兩個(gè)方面:
(1)定義非常細(xì)致和詳細(xì);
(2)支持自定義日志活躍。
圖1
圖2
如上圖,活躍的定義就涉及到7種不同的日志類型,而大多數(shù)被理解的活躍往往只是7種中的1種——頁(yè)面瀏覽日志。也正是因?yàn)槎x涉及的細(xì)節(jié)很多,所以我們需要明確的定義和自定義的活躍方式,而很多平臺(tái)的定義不細(xì)致,至少?zèng)]有給出。
總的來(lái)說(shuō),定義明確且細(xì)致解決的隱藏痛點(diǎn)在于:
- 若平臺(tái)之間存在活躍數(shù)據(jù)差異,我們至少能明確可能是哪里存在匯報(bào)不一致、統(tǒng)計(jì)口徑不一致等問(wèn)題;
- 如果你的應(yīng)用存在非應(yīng)用內(nèi)觸發(fā)的功能,你可以知道并定義它是否應(yīng)會(huì)為活躍。比如WiFi萬(wàn)能鑰匙只需要有人在用它的功能并不一定需要打開(kāi)頁(yè)面就可以算為活躍,類似這樣的場(chǎng)景和技術(shù)處理有很多;
- 加強(qiáng)我們對(duì)數(shù)據(jù)擁有更強(qiáng)的把控力。類似活躍這種基礎(chǔ)數(shù)據(jù)了解不清楚會(huì)直接影響多維度的數(shù)據(jù)(如留存、人均時(shí)長(zhǎng)等的數(shù)據(jù))的判斷。
所以,MTA在數(shù)據(jù)定義和數(shù)據(jù)個(gè)性化方面的細(xì)致成為了我選擇的原因之一。
2. 數(shù)據(jù)采集方面
(1)實(shí)時(shí)性層面
秒級(jí)的數(shù)據(jù)更新速度足以滿足開(kāi)發(fā)者的需求。對(duì)應(yīng)的維度支持新增、活躍、啟動(dòng)次數(shù)等主要數(shù)據(jù)的更新,同時(shí)支持快捷添加看板便于開(kāi)發(fā)者系統(tǒng)的、及時(shí)的了解到產(chǎn)品的動(dòng)態(tài)??偟膩?lái)說(shuō),速度靠譜,維度中規(guī)中矩。
圖3
(2)準(zhǔn)確性層面
本來(lái)依托于騰訊大數(shù)據(jù)就具有一定說(shuō)服力,又曾對(duì)比過(guò)其他平臺(tái)和MTA之間的用戶畫(huà)像差異,再結(jié)合主觀判斷(自身產(chǎn)品有微信登錄功能),明顯選擇相信MTA更接近真實(shí)值。此外騰訊作為第三方平臺(tái),可以確保跟渠道結(jié)算激活時(shí)的公正性。
圖4(MTA)
圖5(百度統(tǒng)計(jì))
(3)采集時(shí)效層面
據(jù)觀察,MTA采用的是7天內(nèi)持續(xù)匯報(bào)的策略來(lái)確保數(shù)據(jù)盡可能接近真實(shí)值,即只要是7天內(nèi)產(chǎn)生過(guò)數(shù)據(jù)的,即使是在第7天客戶端日志才上傳至MTA,也會(huì)更新數(shù)據(jù)。
為便于理解,我補(bǔ)充解釋一下:
用戶在1月28日使用了產(chǎn)品,但是因?yàn)橥蝗话l(fā)現(xiàn)沒(méi)流量了,然后關(guān)掉了流量,在2月1日再打開(kāi),這時(shí)候如果采用延遲匯報(bào)的策略就能確保類似的用戶數(shù)據(jù)不會(huì)被舍棄。沒(méi)準(zhǔn)還能幫你沖一波KPI呢!
(4)穩(wěn)定性層面
從筆者使用MTA的情況來(lái)看,數(shù)據(jù)還是非常穩(wěn)定且保留時(shí)間非常長(zhǎng)的。目前仍可追溯到3年以前的數(shù)據(jù)表現(xiàn)。這也是我們選擇MTA的另一個(gè)原因。當(dāng)然若MTA能夠提供接口供開(kāi)發(fā)者獲取數(shù)據(jù),供我們保留,那更好不過(guò)。
(5)個(gè)性化層面
不得不說(shuō)做的非常細(xì)致。比如:MTA可以開(kāi)放給開(kāi)發(fā)者選擇頁(yè)面數(shù)據(jù)匯報(bào)的權(quán)限,也就是說(shuō)每個(gè)開(kāi)發(fā)者可以覺(jué)得自己哪些頁(yè)面應(yīng)該作為時(shí)長(zhǎng)統(tǒng)計(jì)。說(shuō)一個(gè)我的親身經(jīng)歷:因?yàn)槲覀兊腁PP中有一個(gè)頁(yè)面是在外部生成的,類似一個(gè)小彈窗,但并不能代表用戶的真實(shí)使用,且觸發(fā)頻率極高,最開(kāi)始我們并未在意,最終產(chǎn)品上線之后才發(fā)現(xiàn),原來(lái)僅僅是這個(gè)頁(yè)面產(chǎn)生的時(shí)長(zhǎng)數(shù)據(jù)就導(dǎo)致了時(shí)長(zhǎng)翻了5倍以上。雖然看起來(lái)是好事且拿出去給人看倍有面子,但是卻會(huì)影響你之后對(duì)時(shí)長(zhǎng)數(shù)據(jù)的判斷和敏感度,這是作為數(shù)據(jù)運(yùn)營(yíng)者不能忍的。
3. 數(shù)據(jù)維度
目前MTA已有的維度從數(shù)據(jù)概覽到反作弊,覆蓋8個(gè)大的方面,對(duì)比其他平臺(tái)(如下圖),會(huì)發(fā)現(xiàn)MTA在數(shù)據(jù)維度上會(huì)更全面,且覆蓋的產(chǎn)品、運(yùn)營(yíng)場(chǎng)景更加豐富。
圖6(左1左2為MTA,左3為百度統(tǒng)計(jì),左4為諸葛IO)
從分析用戶生命周期的角度來(lái)看,MTA包含的數(shù)據(jù)維度有活躍度、活躍天數(shù)、留存率、流失與回流數(shù)、使用時(shí)段、用戶構(gòu)成;而百度統(tǒng)計(jì)僅有新用戶留存和活躍用戶留存,相比之下略顯單薄。
4. 數(shù)據(jù)深度
數(shù)據(jù)深度總體上能滿足大多數(shù)的數(shù)據(jù)分析需求。我們可以用5W1H的方法去思考:即盡可能了解到who(用戶特征)在when(時(shí)間點(diǎn)/時(shí)間段)在where(渠道)以how(功能)的方式做了what(用戶行為記錄),而why可能更多是產(chǎn)品、運(yùn)營(yíng)者需要考慮的,這是一條完整的鏈條。雖然4W1H的數(shù)據(jù)MTA幾乎已經(jīng)全部覆蓋,但卻沒(méi)有完全串聯(lián)起來(lái)。
所以在筆者的實(shí)際運(yùn)營(yíng)過(guò)程中,它能幫助解決大多數(shù)需求,但少數(shù)情況仍無(wú)法解決。這時(shí)候基本要靠自建平臺(tái)獲取源數(shù)據(jù)才能解決,去在原始數(shù)據(jù)里給每一個(gè)CID(用戶)對(duì)應(yīng)上各種tag和type字段,這樣就能精確定位每一類人的做了什么。這是第三方平臺(tái)目前都很難做到的,但個(gè)人認(rèn)為這也是未來(lái)的一個(gè)方向。
總的來(lái)看,MTA算是市面上已有的“好平臺(tái)”,但還仍存在一些不足。除了剛剛所談?wù)摰降?,下面也有筆者一些拙見(jiàn):
二. 對(duì)MTA的Redesign想法和建議
1. Redesign的想法
(1)安裝來(lái)源分析
【安裝來(lái)源分析】的功能模塊目前的設(shè)計(jì)并不是太理想,存在的問(wèn)題和重新設(shè)計(jì)的結(jié)果如下:
①與所選平臺(tái)類型不相符。如圖,我是安卓APP 類型,顯示的卻是PV/UV的數(shù)據(jù)。故第一個(gè)需求就針對(duì)不同平臺(tái)類型自動(dòng)匹配對(duì)應(yīng)的功能模塊。
圖7
②目前實(shí)時(shí)效果展示并無(wú)數(shù)據(jù)主體。個(gè)人的想法是直接重新?lián)Q成如下原型展示形式:
圖8
- 所包含的維度為:訪問(wèn)時(shí)間、版本、渠道、設(shè)備品牌、設(shè)備型號(hào)、聯(lián)網(wǎng)方式、地域、操作系統(tǒng)、分辨率、運(yùn)營(yíng)商、內(nèi)存等;
- 點(diǎn)擊編輯按鈕可以增刪部分維度,最多展示8個(gè)維度;
- 每個(gè)維度下可以選中屬性值,支持單選或多選,如多選華為、OPPO、vivo、小米;
- 支持直接導(dǎo)出CSV。
如此一來(lái),開(kāi)發(fā)者可以更清晰明了地知道自己的用戶從哪里來(lái),具有什么樣的屬性;甚至能解決刷量判斷、團(tuán)隊(duì)地推效果管理等問(wèn)題。
(2)數(shù)據(jù)看板
目前【數(shù)據(jù)看板】的雞肋在與:數(shù)據(jù)類型基本都有,但維度不夠自由、展示時(shí)不夠定制化。如:我想看A渠道和B渠道下的新增用戶趨勢(shì),卻無(wú)法實(shí)現(xiàn)。
圖9
個(gè)人想法是:
- 維度自由定制。可以基于渠道或版本去看新增活躍等數(shù)據(jù),也可以基于新增、活躍等數(shù)據(jù)去看渠道或版本的數(shù)據(jù)。
- 看板大小可以在更大范圍內(nèi),每次以固定的距離上下左右自由調(diào)整,以此便于各種場(chǎng)景展示,如匯報(bào)會(huì)議、周會(huì)等。
- 入口:在新建看板的時(shí)候設(shè)置是基于哪個(gè)維度看哪些數(shù)據(jù)。
(3)用戶屬性
目前的【用戶屬性】更加復(fù)雜,我覺(jué)得可以簡(jiǎn)化,把屬性作為成一個(gè)基本維度。
用戶范圍可以變?yōu)榉潜剡x項(xiàng),直接選擇用戶屬性、設(shè)備屬性、自定義事件等,再基于這些看其他數(shù)據(jù)。
圖10
如:用戶屬性選擇華為手機(jī),安卓7.0以上,打開(kāi)過(guò)應(yīng)用的(自定義事件);然后再基于這些屬性去看新增、活躍、留存、時(shí)長(zhǎng)等數(shù)據(jù)??梢岳斫鉃樵谇篮桶姹镜木S度上多了一個(gè)用戶群維度。
圖11
2. 測(cè)評(píng)建議
圖12
(1)【自定義事件相關(guān)1】在不需要切換頁(yè)面且不需要改變時(shí)間、渠道、版本維度的情況下,能快速更換自定義事件,查看數(shù)據(jù)。
比如:能否將紅框內(nèi)的自定義事件做出一個(gè)下拉框并附帶搜索按鈕,以便于保留原選中維度的情況下快速查看其它自定義事件的數(shù)據(jù)表現(xiàn)。
(2)【自定義事件相關(guān)2】只要是代碼中已埋的埋點(diǎn),不論何時(shí)在MTA添加,都可以查到從代碼埋點(diǎn)開(kāi)始時(shí)的數(shù)據(jù),以避免因產(chǎn)品/運(yùn)營(yíng)導(dǎo)入時(shí)漏了或缺失的情況。
(3)【自定義事件相關(guān)3】參數(shù)明細(xì)統(tǒng)計(jì)時(shí)可以同時(shí)多選渠道和版本,目前不每次只能選取一個(gè)渠道,疑似BUG。
圖13
(4)賬號(hào)權(quán)限管理中報(bào)表查看可以選定渠道和版本下的數(shù)據(jù),以便跟渠道合作時(shí)用來(lái)統(tǒng)一校對(duì)數(shù)據(jù)。
圖14
(5)在渠道/版本的分類下也添加“全部”選中功能,點(diǎn)擊后可以選中該分類下的全部渠道/版本。
圖15
三. 數(shù)據(jù)分析實(shí)戰(zhàn):加需求真的可以“為所欲為”
先簡(jiǎn)單介紹一下事情的背景:
恰逢公司戰(zhàn)略轉(zhuǎn)型,工具類轉(zhuǎn)型內(nèi)容型工具,大改版之際,老大從戰(zhàn)略層面的高度直接拍板,壯士斷腕,一波帶走了很多原來(lái)的功能,簡(jiǎn)化操作弱化功能。產(chǎn)品上線,數(shù)據(jù)下滑,而我又只能憑直覺(jué)和用戶反饋確定其中的“浮動(dòng)通知“的功能是不能砍掉的。因?yàn)樯婕爱a(chǎn)品大改版,多維度的論述并證明這個(gè)功能的必要性成了必然(因涉及內(nèi)部數(shù)據(jù)保密,對(duì)數(shù)據(jù)進(jìn)行了相對(duì)調(diào)整,但符合原數(shù)據(jù)的推理邏輯和結(jié)果)。
在整理前,為了確保數(shù)據(jù)足夠有說(shuō)服力,需整理了一下思路和細(xì)節(jié):
前提:能確保當(dāng)時(shí)該功能上線后,無(wú)其他干擾因素或該干擾因素可以忽略。
因在樣本數(shù)據(jù)的選取上,不同類型數(shù)據(jù)不同,主要的注意點(diǎn)如下,后續(xù)不再贅述數(shù)據(jù)細(xì)節(jié):
- 渠道。所選取渠道應(yīng)相同,若為多個(gè)渠道綜合數(shù)據(jù),應(yīng)確保渠道新增來(lái)源無(wú)較大變化。
- 時(shí)間段。所取時(shí)間段不宜過(guò)長(zhǎng),要減少市場(chǎng)變動(dòng)等因素影響。不同數(shù)據(jù)對(duì)比時(shí),需要選取的時(shí)間維度也不一樣。
- 版本。對(duì)應(yīng)時(shí)間段內(nèi),所取版本必須為單一版本。
- 所有數(shù)據(jù)都來(lái)源于MTA,同平臺(tái)能確保數(shù)據(jù)的可比性。
1. 歷史留存
要了解“酷炫通知”功能的成功性,就必須追溯到該功能首次上線后的表現(xiàn)。
在MTA上,我們可以輕松地按時(shí)間、版本、維度選取酷炫通知功能上線前后的數(shù)據(jù)進(jìn)行計(jì)算。
當(dāng)時(shí)選取對(duì)應(yīng)版本的應(yīng)用市場(chǎng)全部渠道數(shù)據(jù)如下:
表1
圖16(注:圖中留存波動(dòng)與2.6發(fā)布時(shí)間相同)
從圖表中我們可以很明顯地看出,最初此功能上線后留存明顯提升,30日留存提升14.05%,且進(jìn)一步確認(rèn)是全渠道數(shù)據(jù)同步提升以及2.6版本僅添加了酷炫通知和對(duì)機(jī)型做了兼容。
得出結(jié)論1:酷炫通知在當(dāng)時(shí)能顯著提升30日留存,提升約14%。(對(duì)新增也有一定刺激作用,此處不做討論)
2. 歷史使用程度(自定義事件,需埋點(diǎn))
接下來(lái)通過(guò)對(duì)此功能被砍掉之前的使用度進(jìn)行分析,思路:
- 找到最能代表核心功能被使用的埋點(diǎn);
- 進(jìn)行橫向和縱向?qū)Ρ炔榭础?/li>
具體數(shù)據(jù)如下(僅展示Top5):
表2
圖17(注:用戶參與度=事件觸發(fā)用戶數(shù)/活躍用戶數(shù))
除被刪除的功能外,其他功能和tab都只進(jìn)行了調(diào)整,但未刪除。
通過(guò)自定義事件很明顯會(huì)發(fā)現(xiàn),橫向“酷炫通知”功能有約12%的活躍用戶在使用,且縱向來(lái)看使用主功能的人有約22%的人在使用此功能,且超過(guò)其他核心功能的使用度。使用程度高,就意味著被刪除后,用戶流失的程度也會(huì)越嚴(yán)重。同時(shí)該功能在被刪除之前反而還有略有上升趨勢(shì)。
得出結(jié)論2:酷炫通知功能使用度僅次于核心功能1,若刪除可能會(huì)導(dǎo)致活躍用戶流失超過(guò)12%。
3. 用戶反饋
之后再整理收集上線后一個(gè)星期內(nèi)的1010條反饋內(nèi)容,如下圖:
圖18(注:反饋來(lái)源為應(yīng)用市場(chǎng)評(píng)論、APP內(nèi)部反饋、粉絲群反饋等)
得出結(jié)論3:反饋用戶中,有約40%的用戶期望加回的酷炫通知功能。
4. 用戶畫(huà)像變化
再通過(guò)MTA整理了版本更新前后的用戶畫(huà)像變化,去檢驗(yàn)是否符合戰(zhàn)略定位的期望。最終發(fā)現(xiàn)男女比例變化較小,而17歲以下的用戶減少約5%。
圖19
得出結(jié)論4:低齡用戶對(duì)個(gè)性化功能需求比較強(qiáng)烈(酷炫通知本身也是因?yàn)檫^(guò)于個(gè)性化且加大產(chǎn)品復(fù)雜度,而被刪除),與我們產(chǎn)品定位于95后年輕用戶的意愿相違背。(95前的我們依舊年輕!)
5. 設(shè)備畫(huà)像變化
進(jìn)一步從通過(guò)設(shè)備畫(huà)像的變化,我們可以看數(shù)據(jù)發(fā)現(xiàn):OPPO用戶流失最多,華為其次。
圖20
圖21
得出結(jié)論5:OPPO、華為作為出貨量TOP3的手機(jī)廠商,其用戶的流失,非常不利于我們?cè)谠擃惽览隆?/p>
6. 相關(guān)功能使用情況(自定義事件)
結(jié)合前5個(gè)結(jié)論,目前我們基本能得出酷炫通知功能加回的必要性。接下來(lái)可以再通過(guò)了解原酷炫通知功能系列下的各個(gè)小功能的使用情況,給產(chǎn)品和老板更多建議,畢竟仍能要滿足功能簡(jiǎn)化,弱化工具屬性的要求。
數(shù)據(jù)如下:
表3
給出建議:可以考慮刪除彈框模式和透明度。
最終結(jié)果當(dāng)然是功能如愿加回,且數(shù)據(jù)表現(xiàn)亦證明該功能加回去的成功性。
在這個(gè)問(wèn)題的數(shù)據(jù)分析過(guò)程中,還有很多類似數(shù)據(jù)需要從結(jié)果數(shù)據(jù)和趨勢(shì)數(shù)據(jù)上分析,以及數(shù)據(jù)的深度還可以更進(jìn)一步,如酷炫通知下的每一個(gè)小功能都有對(duì)應(yīng)的參數(shù)數(shù)據(jù)。通過(guò)參數(shù)數(shù)據(jù)可以分析用戶的主要選擇(如透明度數(shù)據(jù)是大部分用戶喜歡76%的不透明度),進(jìn)而可以對(duì)部分設(shè)置進(jìn)行默認(rèn)化。
不得不說(shuō),老板在大方向的方面會(huì)有很多真知灼見(jiàn),轉(zhuǎn)型也是必然,但并不是當(dāng)時(shí)所有的決策都是對(duì)的,諸葛亮也有錯(cuò)用馬謖的時(shí)候。作為員工,我們有更多的時(shí)間身處前線,我們不妨把自己對(duì)用戶的動(dòng)態(tài)、需求的理解不時(shí)去反饋給老板,做老板的好助手,少抱怨,這樣才能讓產(chǎn)品少走彎路。
寫(xiě)在最后
個(gè)人覺(jué)得,如何選擇第三方和自建數(shù)據(jù)平臺(tái),取決于你們的團(tuán)隊(duì)是否有能力做好。如果能,自己做當(dāng)然更個(gè)性化一點(diǎn)且數(shù)據(jù)分析起來(lái)會(huì)更加順心,但我相信絕大多數(shù)團(tuán)隊(duì)沒(méi)有這么多的人力和時(shí)間來(lái)做到極致。這種難度的差異幾乎是自建一個(gè)商超和去一個(gè)現(xiàn)成的商超里買(mǎi)東西一般。所以,個(gè)人建議還是接入MTA這樣的第三方,有條件可以配合自建平臺(tái)吧。
相關(guān)閱讀
騰訊移動(dòng)分析產(chǎn)品測(cè)評(píng)大賽報(bào)名開(kāi)啟,豐厚大獎(jiǎng)等你來(lái)!
騰訊移動(dòng)分析測(cè)評(píng)大賽結(jié)果公布|這一次,且聽(tīng)我娓娓道來(lái)
作者:冰雁,獨(dú)立運(yùn)營(yíng)并負(fù)責(zé)過(guò)多款A(yù)PP(涉及安卓、iOS、小程序),最高的月活百萬(wàn)級(jí),“打雜”型運(yùn)營(yíng),借助技術(shù)實(shí)現(xiàn)數(shù)據(jù)運(yùn)營(yíng)自動(dòng)化
本文為「人人都是產(chǎn)品經(jīng)理」社區(qū)和騰訊移動(dòng)分析聯(lián)合主辦的“騰訊移動(dòng)分析測(cè)評(píng)大賽”中的二等獎(jiǎng)作品,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來(lái)自 Pexels,基于 CC0 協(xié)議
筆者在什么單位就職啊。