除了ABtest,還有更好用的測(cè)試方法!

0 評(píng)論 1380 瀏覽 2 收藏 10 分鐘
🔗 B端产品需要更多地依赖销售团队和渠道合作来推广产品,而C端产品需要更多地利用网络营销和口碑传播来推广产品..

面對(duì)業(yè)務(wù)部門(mén)的精準(zhǔn)預(yù)測(cè)要求,你是否也曾感到壓力山大?別慌!今天帶你揭秘,在沒(méi)有數(shù)據(jù)基礎(chǔ)的情況下,如何通過(guò)科學(xué)的測(cè)試方法,為業(yè)務(wù)增長(zhǎng)保駕護(hù)航。從部署到復(fù)盤(pán),四階段詳解測(cè)試全流程,助你避免盲目預(yù)測(cè),用數(shù)據(jù)說(shuō)話(huà),讓業(yè)務(wù)增長(zhǎng)有據(jù)可依。

業(yè)務(wù)方要你人工智能大數(shù)據(jù)精準(zhǔn)預(yù)測(cè),預(yù)測(cè)偏差多少錢(qián),就扣你多少錢(qián)的工資,你怕不?!偏偏真的就有很多類(lèi)似場(chǎng)景,話(huà)不多說(shuō),直接上干貨:

問(wèn)題場(chǎng)景:某互聯(lián)網(wǎng)金融公司準(zhǔn)備通過(guò)投放獲取投資客戶(hù),最近聽(tīng)說(shuō)私域流量很火,但是從來(lái)沒(méi)在公眾號(hào)渠道試驗(yàn)過(guò),現(xiàn)計(jì)劃在公眾號(hào)渠道進(jìn)行投放,請(qǐng)數(shù)據(jù)分析部門(mén)利用大數(shù)據(jù)人工智能精準(zhǔn)預(yù)測(cè)投放效果,到底做一次投放能賺多少錢(qián)。假設(shè)你是這個(gè)公司的數(shù)據(jù)分析師……

思考一分鐘?

一、別忘了你還有這個(gè)武器

正確回答:預(yù)測(cè)個(gè)屁!業(yè)務(wù)部門(mén)是不懂?dāng)?shù)據(jù)原理的,有想不明白的事搬出“大數(shù)據(jù)人工智能”就好了。但做數(shù)據(jù)的人腦子得格外清醒。按題中的場(chǎng)景,業(yè)務(wù)上連一次都沒(méi)做過(guò),連數(shù)據(jù)都沒(méi)有,這還預(yù)測(cè)個(gè)毛線(xiàn)。這時(shí)候應(yīng)該做測(cè)試,先收集一些數(shù)據(jù),有了相當(dāng)?shù)臄?shù)據(jù)積累以后再談?lì)A(yù)測(cè)的事。

測(cè)試從來(lái)都是數(shù)據(jù)分析解決問(wèn)題的手段。俗話(huà)說(shuō):是騾子是馬,拉出來(lái)遛遛。測(cè)試就是遛馬的過(guò)程,結(jié)果好壞一眼即明。特別針對(duì):新渠道、新產(chǎn)品、新團(tuán)隊(duì)這種創(chuàng)新情況。舊的數(shù)據(jù)不能完全推演創(chuàng)新,就更得上測(cè)試了。

只不過(guò),這些年熱炒的都是基于自有App的ABtest,所以很多新人忽視了更普遍的測(cè)試設(shè)計(jì)方法,今天我們系統(tǒng)講解下。?

二、設(shè)計(jì)測(cè)試的基本要求

很多新人會(huì)想當(dāng)然地認(rèn)為:測(cè)試不就是讓業(yè)務(wù)先搞幾次,那讓他們搞,我們等著收數(shù)據(jù)不就好了。這種偷懶的想法,會(huì)在事后給自己添加無(wú)窮無(wú)盡的麻煩。

首先,測(cè)試是有業(yè)務(wù)代價(jià)的。

比如本場(chǎng)景中,投放是為了拉新用戶(hù)和新投資,花了錢(qián)要見(jiàn)效果,不然肯定被老板diss。

那么相關(guān)的問(wèn)題就來(lái)了:

  • 花多少錢(qián)?
  • 要做多少效果?
  • 測(cè)幾輪見(jiàn)效果?
  • 測(cè)幾輪的損失能不能承擔(dān)?

這些都得事先有個(gè)清晰界定,才能避免糾結(jié)。

其次,測(cè)試是有內(nèi)容設(shè)計(jì)的。

比如本場(chǎng)景中,用戶(hù)會(huì)不會(huì)被吸引來(lái),和投放號(hào)類(lèi)型、投放時(shí)機(jī)、文案、轉(zhuǎn)化路徑、產(chǎn)品選擇、CTA動(dòng)作,都有關(guān)系,如果一開(kāi)始不做認(rèn)真設(shè)計(jì)。只是簡(jiǎn)單的丟一個(gè),那很多其他可能無(wú)法對(duì)比測(cè)試,就不能推導(dǎo)出有效結(jié)論。

再次,測(cè)試是受投入影響的。

比如本場(chǎng)景中,有可能優(yōu)質(zhì)的渠道需要花很多錢(qián),有可能用戶(hù)補(bǔ)貼力度得比其他渠道大一點(diǎn),導(dǎo)致的結(jié)果就是可能第一輪不見(jiàn)效,但第二輪增加力度就見(jiàn)效了!所以要不要做追加投入,也得事先考慮清楚。

由于以上三點(diǎn),使得測(cè)試需要分四個(gè)階段,做好充分的準(zhǔn)備再上路(如下圖)。

 

三、部署階段

部署階段要解決的是戰(zhàn)略問(wèn)題:

  • 到底要測(cè)試多久
  • 為測(cè)試可以投放多少資源
  • 測(cè)試出什么結(jié)果才滿(mǎn)意

在本場(chǎng)景中,作為新投放渠道測(cè)試,則首先得搞清楚渠道的定位。常見(jiàn)的有:

  • 主力渠道:承擔(dān)50%+的流量來(lái)源,主要投資方向
  • 助攻渠道:承擔(dān)20%+的流量來(lái)源,次要投資方向
  • 邊緣渠道:?jiǎn)吻懒髁坎怀^(guò)5%,選擇性投放
  • 零散渠道:有它沒(méi)它關(guān)系不大,聊勝于無(wú)

可以根據(jù)當(dāng)期的整體渠道投放目標(biāo),反推需要的流量;之后根據(jù)業(yè)務(wù)上策略(下決心建立新渠道,還是跟風(fēng)玩玩),把任務(wù)分配清楚,之后定義好本次測(cè)試新渠道的定位。有了清晰的定位,自然很容易得出:投多少錢(qián),做多少次。有了財(cái)力、人力、時(shí)間的界定,后續(xù)設(shè)計(jì)方案就簡(jiǎn)單了。

?4?準(zhǔn)備階段

準(zhǔn)備階段要解決的是戰(zhàn)術(shù)問(wèn)題:

  • 到底要測(cè)試哪些渠道
  • 到底測(cè)哪些版本
  • 到底測(cè)哪些產(chǎn)品

在本場(chǎng)景中,由于是完全沒(méi)有經(jīng)驗(yàn),因此需要第三方/同業(yè)的案例、數(shù)據(jù)做支持。雖然不能拿到100%準(zhǔn)確的數(shù)據(jù),但至少能照貓畫(huà)虎,比如:

  • 同業(yè)投放哪些賬號(hào)
  • 可觀(guān)察的文章曝光量是多少
  • 小道消息打聽(tīng)來(lái)的轉(zhuǎn)化率是多少
  • 業(yè)用的什么什么形式

經(jīng)過(guò)梳理,至少有一個(gè)大概方向,比閉著眼睛瞎胡做強(qiáng)的多。注意,站在用戶(hù)角度,影響用戶(hù)行為的因素是綜合性的。比如公眾號(hào)渠道投放,標(biāo)題、長(zhǎng)度、投放時(shí)間、內(nèi)容寫(xiě)法、CTA、轉(zhuǎn)化路徑、產(chǎn)品價(jià)格、產(chǎn)品屬性等等等都會(huì)有影響。

用數(shù)據(jù)進(jìn)行測(cè)試,很難在一次測(cè)試把以上因素全部拆解清楚,因此需要提前準(zhǔn)備多個(gè)測(cè)試版本,且測(cè)試版本之間差異不能太大,有一定延續(xù)性,這樣才能為后期分析做好準(zhǔn)備。

以上全部是標(biāo)紅加粗,是因?yàn)樵趯?shí)際工作中,業(yè)務(wù)方經(jīng)常喜歡糾結(jié)細(xì)節(jié),結(jié)果搞出來(lái)的各個(gè)版本一個(gè)天上一個(gè)地下,完全沒(méi)有可比性。除了看整體轉(zhuǎn)化結(jié)果外,細(xì)節(jié)完全無(wú)法對(duì)標(biāo),因此很難做深入分析。

可以說(shuō)事后分析的艱難,有80%是因?yàn)槭孪葲](méi)有做好計(jì)劃導(dǎo)致的,切記切記。?

五、測(cè)試與復(fù)盤(pán)階段

準(zhǔn)備好以后,可以上線(xiàn)測(cè)試和復(fù)盤(pán)。本場(chǎng)景是渠道投放,且目標(biāo)就是獲取新投資用戶(hù),因此考核結(jié)果指標(biāo)相對(duì)簡(jiǎn)單清晰,看轉(zhuǎn)化來(lái)的用戶(hù)數(shù),用戶(hù)投資率,用戶(hù)投資金額幾個(gè)指標(biāo)即可。只要測(cè)試結(jié)果能達(dá)成部署階段的目標(biāo),就算渠道合格,完成任務(wù)。如果不行,可以根據(jù)事先制定的迭代方案,進(jìn)行迭代優(yōu)化,進(jìn)一步觀(guān)察效果。

這里要強(qiáng)調(diào)的是一些細(xì)節(jié)問(wèn)題:

  1. 結(jié)果判斷和原因分析要分開(kāi)。先判斷結(jié)果是否可接受,再分析哪個(gè)環(huán)節(jié)有問(wèn)題。
  2. 迭代有順序進(jìn)行,產(chǎn)品、價(jià)格、內(nèi)容要分開(kāi)。最好一次換一個(gè),最差也不要仨一起換。
  3. 優(yōu)先換產(chǎn)品、價(jià)格,內(nèi)容不一條條換。內(nèi)容涉及細(xì)節(jié)太多,全部測(cè)出來(lái)成本太高,因此優(yōu)先考慮產(chǎn)品和價(jià)格。

這樣看數(shù)據(jù)的時(shí)候,可以按以下順序展開(kāi):

六、小結(jié)

為啥開(kāi)頭要問(wèn)如何人工智能大數(shù)據(jù)精準(zhǔn)預(yù)測(cè)?是因?yàn)楹芏嗤瑢W(xué)真的以為能預(yù)測(cè)!不但業(yè)務(wù)部門(mén)迷信預(yù)測(cè),連很多數(shù)據(jù)分析師自己都信了,還真以為隨便搞幾個(gè)數(shù)字就是大數(shù)據(jù)了,真以為隨便懟個(gè)模型調(diào)個(gè)參就是人工智能了,還真為人工智能就是全知全能的上帝一道金光從天而降代碼就能變成鈔票,隨著鍵盤(pán)的敲動(dòng)從屏幕里噴薄而出……

  • 數(shù)據(jù)分析,有數(shù)據(jù)才能分析
  • 沒(méi)有數(shù)據(jù),先采集數(shù)據(jù)
  • 業(yè)務(wù)沒(méi)做過(guò),先做做試試
  • 不要瞎胡試,認(rèn)真做計(jì)劃,一步步試

這些看似毫無(wú)技術(shù)含量的傳統(tǒng)流程,才是用數(shù)據(jù)保障業(yè)務(wù)增長(zhǎng)的秘籍。由于本場(chǎng)景是外部渠道,因此不是用ABtest分流量做對(duì)比的思路。

本文由人人都是產(chǎn)品經(jīng)理作者【接地氣的陳老師】,微信公眾號(hào):【接地氣的陳老師】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash,基于 CC0 協(xié)議。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒(méi)評(píng)論,等你發(fā)揮!
专题
15043人已学习14篇文章
RBAC是一套成熟的权限模型,在传统权限模型中,我们直接把权限赋予用户。而在RBAC中,首先把权限赋予角色,再把角色赋予用户。本专题的文章分享了基于RBAC模型的权限设计。
专题
13328人已学习12篇文章
需求管理,也是产品运营人工作中非常重要的一个任务。本专题的文章分享了如何做需求管理。
专题
45337人已学习12篇文章
产品经理和运营都要懂一点的推荐算法基础和进阶知识
专题
40094人已学习22篇文章
不想当CEO的产品经理不是好运营
专题
12895人已学习12篇文章
营销数字化与数字化营销,是两个不同的概念,很多容易混淆。本专题的文章分享了关于营销数字化的解读。
专题
13191人已学习14篇文章
好的产品是对人性的窥视,无论是做产品,做运营,懂点心理学还是很有帮助的。本专题的文章分享了消费者心理学。