編輯導(dǎo)語(yǔ)：在滲透式項(xiàng)目中，往往需要通過(guò)測(cè)試對(duì)照來(lái)支撐運(yùn)營(yíng)快速?zèng)Q策，那么哪一種測(cè)試對(duì)照才是科學(xué)有效的呢？本文從全量的AB測(cè)試對(duì)照的局限性出發(fā)，提出了一種全新的付費(fèi)會(huì)員對(duì)照評(píng)估方法，一起看看吧。

一、現(xiàn)狀問(wèn)題

隨著業(yè)務(wù)的發(fā)展，我們發(fā)現(xiàn)AB測(cè)試的全量對(duì)照存在較大的局限性，比如在滲透式項(xiàng)目這種場(chǎng)景下，由于項(xiàng)目前期滲透率較低，通過(guò)全量的AB測(cè)試對(duì)照往往會(huì)導(dǎo)致整體增量?jī)r(jià)值不高，無(wú)法支撐運(yùn)營(yíng)快速?zèng)Q策是否可以持續(xù)投入項(xiàng)目。

什么是滲透式項(xiàng)目？

滲透式項(xiàng)目是特指在運(yùn)營(yíng)周期內(nèi)，可預(yù)見(jiàn)性地?zé)o法快速達(dá)到高用戶滲透率的產(chǎn)品，例如付費(fèi)會(huì)員、積分等。它往往跟常規(guī)的AB測(cè)試中文案調(diào)整、UI優(yōu)化等元素對(duì)實(shí)驗(yàn)組用戶可以100%影響的項(xiàng)目相對(duì)。

二、解決方案

根據(jù)翻閱行業(yè)內(nèi)的相關(guān)資料，筆者無(wú)法在行業(yè)內(nèi)找到已經(jīng)落地的可行的解決方案，于是沿著這個(gè)問(wèn)題進(jìn)行思考。

解決這個(gè)問(wèn)題的核心點(diǎn)在于：

找到滲透節(jié)點(diǎn)的用戶的對(duì)照組，對(duì)比兩類用戶的用戶價(jià)值數(shù)據(jù)。

什么是滲透節(jié)點(diǎn)？

可以理解為，滲透式項(xiàng)目的用戶核心行為節(jié)點(diǎn)即為滲透節(jié)點(diǎn)。例如：付費(fèi)會(huì)員項(xiàng)目對(duì)應(yīng)的「購(gòu)買付費(fèi)會(huì)員」行為節(jié)點(diǎn)，積分項(xiàng)目的對(duì)應(yīng)「領(lǐng)取積分」行為節(jié)點(diǎn)。

評(píng)估步驟：

經(jīng)過(guò)思考，找到了一個(gè)方法，由于行業(yè)內(nèi)沒(méi)有找到其他人有發(fā)表過(guò)這種方法，暫且將此對(duì)照方法命名為「碧落對(duì)照法」，具體步驟如下：

1. 數(shù)據(jù)測(cè)試

根據(jù)常規(guī)AB測(cè)試方法對(duì)滲透式項(xiàng)目進(jìn)行測(cè)試（這里不對(duì)AB測(cè)試的知識(shí)做展開(kāi)介紹，不理解的同學(xué)自行搜索學(xué)習(xí)）。

假設(shè)該項(xiàng)目分兩組，分別是實(shí)驗(yàn)組A及對(duì)照組B

2. 數(shù)據(jù)回收

1）回收AB組分別的大盤實(shí)驗(yàn)進(jìn)入用戶數(shù)及用戶價(jià)值數(shù)據(jù)。

2）回收實(shí)驗(yàn)組中滲透節(jié)點(diǎn)的用戶數(shù)及用戶價(jià)值數(shù)據(jù)。

3.數(shù)據(jù)分析

1）AB組滲透節(jié)點(diǎn)的用戶增量?jī)r(jià)值評(píng)估

實(shí)驗(yàn)組A未滲透人群數(shù)量及價(jià)值測(cè)算：假設(shè)實(shí)驗(yàn)組A未滲透的用戶數(shù)及對(duì)于的用戶價(jià)值為a3和A3，那么：a3=a1-a2，A3=A1-A2。

對(duì)照組B理論上滲透/未滲透用戶數(shù)量測(cè)算：假設(shè)a2和a3在對(duì)照組B中分別有兩組用戶對(duì)應(yīng)，理論上用戶數(shù)量比例應(yīng)當(dāng)一致，我們假設(shè)對(duì)應(yīng)的為b2和b3，那么：b2=a2*（a1/b1），b3=a3*（a1/b1）=b1-b2。

• 對(duì)照組B理論上未滲透人群價(jià)值測(cè)算：理論上，b3人群跟a3人群的人均價(jià)值一致，我們將b3人群的總用戶價(jià)值定義為B3，那么：B3=b3*（A3/a3）。
• 對(duì)照組B理論上滲透人群價(jià)值測(cè)算：根據(jù)上述數(shù)據(jù)，很容易得出對(duì)照組B理論上滲透人群價(jià)值，我們認(rèn)定為B2，即B2=B1-B3。

實(shí)驗(yàn)組A滲透節(jié)點(diǎn)的用戶增量?jī)r(jià)值測(cè)算：

△實(shí)驗(yàn)組A滲透節(jié)點(diǎn)用戶增量?jī)r(jià)值提升比例=（b2*A2/a2-B2）/B2

2）AB組大盤用戶價(jià)值數(shù)據(jù)對(duì)比

實(shí)驗(yàn)組A大盤用戶增量?jī)r(jià)值測(cè)算：△實(shí)驗(yàn)組A大盤用戶增量?jī)r(jià)值提升比例=（b1*A1/a1-B1）/B1

3）預(yù)估滲透式項(xiàng)目的滲透率上限，以此預(yù)估在高滲透率下項(xiàng)目的理論增量?jī)r(jià)值

假設(shè)該項(xiàng)目預(yù)估滲透率上限為X，顯然：1≥X≥a2/a1。假設(shè)在該滲透率狀態(tài)下，a2和a3人群各自的人均價(jià)值不變（實(shí)際上，隨著滲透率的逐步提高，兩類用戶的人均價(jià)值均有可能下降），那么，在該項(xiàng)目滲透率狀態(tài)下，大盤的用戶增量?jī)r(jià)值將在新的狀態(tài)下得到整體的提高，測(cè)算邏輯跟現(xiàn)有狀態(tài)下測(cè)算一致。

4. 舉個(gè)例子

1）數(shù)據(jù)測(cè)試

以某APP付費(fèi)會(huì)員項(xiàng)目為例，我們對(duì)付費(fèi)會(huì)員項(xiàng)目進(jìn)行AB測(cè)試，比例為5：5。

2）數(shù)據(jù)回收

a. 回收付費(fèi)會(huì)員AB組分別的大盤實(shí)驗(yàn)進(jìn)入用戶數(shù)及交叉用戶數(shù)據(jù)。

交叉定義：某平臺(tái)的完成兩個(gè)及以上業(yè)務(wù)交易的用戶。

b. 回收實(shí)驗(yàn)組中購(gòu)買付費(fèi)會(huì)員的用戶數(shù)及對(duì)應(yīng)的交叉用戶數(shù)據(jù)?！纲?gòu)買付費(fèi)會(huì)員交叉率為24%=240/1000」

3）數(shù)據(jù)分析

a. 購(gòu)買付費(fèi)會(huì)員用戶增量?jī)r(jià)值評(píng)估

實(shí)驗(yàn)組A未購(gòu)買付費(fèi)會(huì)員用戶數(shù)量及對(duì)應(yīng)交叉用戶數(shù)：

• 實(shí)驗(yàn)組A未購(gòu)買付費(fèi)會(huì)員用戶數(shù)量=10000-1000=9000。
• 實(shí)驗(yàn)組A未購(gòu)買付費(fèi)會(huì)員用戶對(duì)應(yīng)交叉用戶數(shù)=1050-240=810?！肝促?gòu)買付費(fèi)會(huì)員交叉率為9%=810/9000」

對(duì)照組B理論上的購(gòu)買/未購(gòu)買付費(fèi)會(huì)員用戶數(shù)量測(cè)算：購(gòu)買付費(fèi)會(huì)員用戶和未購(gòu)買付費(fèi)會(huì)員用戶理論上分別為：1000和9000。

• 對(duì)照組B理論上未購(gòu)買付費(fèi)會(huì)員交叉用戶測(cè)算：理論上，對(duì)照組B跟實(shí)驗(yàn)組A中未購(gòu)買付費(fèi)會(huì)員的用戶交叉效率應(yīng)該一致，那么，對(duì)照組B中未購(gòu)買付費(fèi)會(huì)員交叉用戶數(shù)=9000*（810/9000）=810。
• 對(duì)照組B理論上購(gòu)買付費(fèi)會(huì)員交叉用戶測(cè)算：根據(jù)上述數(shù)據(jù)，很容易得出，對(duì)照組B理論上付費(fèi)會(huì)員交叉用戶數(shù)=1000-810=190。

實(shí)驗(yàn)組A購(gòu)買付費(fèi)會(huì)員的增量交叉用戶比例：

△實(shí)驗(yàn)組A購(gòu)買付費(fèi)會(huì)員用戶增量交叉用戶提升比例=（240-190）/240=20.83%。

b. AB組大盤用戶價(jià)值數(shù)據(jù)對(duì)比

實(shí)驗(yàn)組A大盤交叉用戶增量測(cè)算：△實(shí)驗(yàn)組A購(gòu)買付費(fèi)會(huì)員用戶增量交叉用戶提升比例=（1050-1000）/1000=5%。

c. 預(yù)估滲透式項(xiàng)目的滲透率上限，以此預(yù)估在高滲透率下項(xiàng)目的理論增量?jī)r(jià)值假設(shè)該項(xiàng)目預(yù)估滲透率上限為50%。

假設(shè)在該滲透率狀態(tài)下，購(gòu)買付費(fèi)會(huì)員和未購(gòu)買付費(fèi)會(huì)員的交叉效率不變（實(shí)際上，隨著滲透率的逐步提高，兩類用戶的人均價(jià)值均有可能下降），那么，在50%的滲透率下，對(duì)應(yīng)的大盤增量交叉用戶提升比例=（2600-1000）/1000=130%

三、總結(jié)

總結(jié)一下：

本方案的核心是，通過(guò)模擬計(jì)算找到滲透節(jié)點(diǎn)用戶在對(duì)照組同樣的用戶的價(jià)值數(shù)據(jù)，以此取得相對(duì)合理的對(duì)照。

本方法具有一定的先進(jìn)性：

在項(xiàng)目滲透率低且大盤價(jià)值增量對(duì)比不明顯時(shí)，本方案可以找到一個(gè)理論上的滲透節(jié)點(diǎn)用戶的對(duì)照組，能夠應(yīng)用到運(yùn)營(yíng)上快速?zèng)Q策項(xiàng)目是否可以進(jìn)一步推進(jìn)。

但同時(shí)也有它的局限性：

跟AB測(cè)試一樣，所有的增量數(shù)據(jù)只能反映當(dāng)下的數(shù)據(jù)增量，不能直接視為長(zhǎng)期的數(shù)據(jù)增量。隨著滲透率的提高，項(xiàng)目預(yù)估高滲透率狀態(tài)下的理論增量?jī)r(jià)值實(shí)際并不準(zhǔn)確，有可能盲目高估。

作者：碧落，微信公眾號(hào)：運(yùn)營(yíng)沉思錄

本文由 @碧落 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來(lái)自?Unsplash，基于 CC0 協(xié)議