大數(shù)據(jù)時(shí)代，擁有數(shù)據(jù)就是擁有了寶貴的財(cái)富，而當(dāng)下的互聯(lián)網(wǎng)環(huán)境中獲得數(shù)據(jù)也已經(jīng)變得越來(lái)越容易。

然而僅僅手握數(shù)據(jù)還是不行的，你還需要使用數(shù)據(jù)來(lái)發(fā)揮價(jià)值。但是數(shù)據(jù)的價(jià)值怎么才能最大化的挖掘出來(lái)呢？

7月14日，前Google AdWords 優(yōu)化團(tuán)隊(duì)負(fù)責(zé)人，耶魯大學(xué)計(jì)算機(jī)科學(xué)博士，吆喝科技創(chuàng)始人@王曄 做客免費(fèi)在線課程欄目「起點(diǎn)學(xué)院公開(kāi)課」，帶你揭秘?cái)?shù)據(jù)增長(zhǎng)驅(qū)動(dòng)產(chǎn)品優(yōu)化 。

嘉賓介紹

王曄，清華大學(xué)電子工程系碩士，耶魯大學(xué)計(jì)算機(jī)科學(xué)博士，曾在Google美國(guó)總部負(fù)責(zé)廣告產(chǎn)品的創(chuàng)新和研發(fā)，對(duì)A/B測(cè)試系統(tǒng)、大規(guī)模復(fù)雜系統(tǒng)、數(shù)據(jù)挖掘和分析、互聯(lián)網(wǎng)基礎(chǔ)架構(gòu)有深入研究。歷任IEEE移動(dòng)計(jì)算、GLOBECOM互聯(lián)網(wǎng)協(xié)議與車(chē)輛技術(shù)評(píng)論家專(zhuān)家、ACM外部審核專(zhuān)家、2009對(duì)等網(wǎng)絡(luò)國(guó)際研討會(huì)、超現(xiàn)代化的通訊和控制系統(tǒng)2010、2011國(guó)際會(huì)議TPC。在IEEE、ACM等全球有影響力的學(xué)術(shù)期刊發(fā)表多篇學(xué)術(shù)論文，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)及優(yōu)化。

以下為分享正文，由人人都是產(chǎn)品經(jīng)理團(tuán)隊(duì)筆記小組@李任培 依據(jù)嘉賓現(xiàn)場(chǎng)分享內(nèi)容整理，編輯有修改：

一、 什么是增長(zhǎng)？

1、定義

先說(shuō)一下產(chǎn)品優(yōu)化的大背景：大的背景實(shí)際上是增長(zhǎng)，我們所做產(chǎn)品優(yōu)化的目的其實(shí)很明確，需要不斷地促進(jìn)企業(yè)公司業(yè)務(wù)的增長(zhǎng)，這是我們的主要目標(biāo)。

產(chǎn)品優(yōu)化當(dāng)然有其他的一些好處，但是它的根本目的是為了獲得業(yè)務(wù)的增長(zhǎng)。

增長(zhǎng)這個(gè)概念從經(jīng)濟(jì)學(xué)角度來(lái)講，是連續(xù)發(fā)生的經(jīng)濟(jì)事實(shí)的變動(dòng)以及單位時(shí)間的變化。這個(gè)變化可以是正向的也可以是負(fù)向的，所以有負(fù)增長(zhǎng)這個(gè)概念。在互聯(lián)網(wǎng)領(lǐng)域里，增長(zhǎng)的概念還可以再細(xì)分；除了業(yè)務(wù)之外（比如說(shuō)公司的凈資產(chǎn)，營(yíng)業(yè)額等等），還有一些運(yùn)營(yíng)的指標(biāo)增長(zhǎng)也是我們的目標(biāo)。

2、增長(zhǎng)指標(biāo)

• PV/UV/IP
• 訪問(wèn)時(shí)長(zhǎng)/停留時(shí)長(zhǎng)/使用時(shí)長(zhǎng)
• GMV/LTV/客單價(jià)
• 分享/點(diǎn)贊/轉(zhuǎn)發(fā)

大家可能比較了解，比如說(shuō)你是個(gè)網(wǎng)站的站長(zhǎng)， 那么你肯定會(huì)關(guān)心PV、UV、瀏覽用戶(hù)IP地址等等。你也會(huì)關(guān)心用戶(hù)的訪問(wèn)時(shí)長(zhǎng)，停留時(shí)間等等，特別是一些視頻類(lèi)、直播類(lèi)的網(wǎng)站，尤其關(guān)心時(shí)長(zhǎng)的問(wèn)題。 如果你是電商類(lèi)的產(chǎn)品，你肯定關(guān)心你的銷(xiāo)量GMV； 或者如果你是一些在線的網(wǎng)站，那么你要關(guān)心客單價(jià)、LTV。用戶(hù)一生中給你的貢獻(xiàn) ，有一些分享、轉(zhuǎn)發(fā)、點(diǎn)贊等等其他的指標(biāo) 。而我們優(yōu)化的目的都是針對(duì)這些指標(biāo)，讓他們能夠盡量的提升， 或者讓他們不要去負(fù)增長(zhǎng)。

二、如何實(shí)現(xiàn)增長(zhǎng)？

1、傳統(tǒng)方式

那么如何實(shí)現(xiàn)增長(zhǎng)呢？

從傳統(tǒng)的方式來(lái)說(shuō)，往往和產(chǎn)品的關(guān)系并不是很大。因?yàn)閷?duì)傳統(tǒng)企業(yè)來(lái)說(shuō)，通常你做出一個(gè)產(chǎn)品之后，你想很快速的去迭代它，優(yōu)化它是很困難的。比如做牙膏的，或者做手機(jī)的，要獲得增長(zhǎng)怎么辦？往往就需要去做地推， 去打廣告， 做促銷(xiāo)。在線也有一些方式，比如從一些第三方渠道購(gòu)買(mǎi)流量，或者可以給用戶(hù)送補(bǔ)貼、送促銷(xiāo)、做活動(dòng)。雖然在線的這種增長(zhǎng)方式曾經(jīng)很有效，但是現(xiàn)在不太能夠持續(xù)了。這主要是因?yàn)椋簾o(wú)論做廣告也好，做促銷(xiāo)也好，其實(shí)是一個(gè)高投入的事情。隨著競(jìng)爭(zhēng)越來(lái)越激烈，你的對(duì)手通過(guò)競(jìng)價(jià)不斷推高了渠道的價(jià)格， 會(huì)給你帶來(lái)一個(gè)不可持續(xù)性的投入：成本越來(lái)越高，買(mǎi)不起了，也補(bǔ)貼不起了。而且通過(guò)補(bǔ)貼這種方式帶來(lái)用戶(hù)，這樣的增長(zhǎng)往往是很敏感的，一旦你的補(bǔ)貼沒(méi)有了，燒錢(qián)結(jié)束了，他們就會(huì)離開(kāi)， 他們就不能夠持續(xù)的為你做出貢獻(xiàn)。

2、新興的Growth Hack：AARRR模型

新一代的增長(zhǎng)方式就截然不同了，它是一種數(shù)據(jù)化的方法。數(shù)據(jù)的手段，通過(guò)一種很技術(shù)人的方法來(lái)獲得增長(zhǎng)。不再是通過(guò)花錢(qián)去硬砸的方式，而是通過(guò)產(chǎn)品、數(shù)據(jù)、市場(chǎng)的數(shù)據(jù)分析，通過(guò)快速實(shí)驗(yàn)和迭代產(chǎn)品，來(lái)找到產(chǎn)品對(duì)用戶(hù)最大的價(jià)值在哪里，怎樣在用戶(hù)進(jìn)入產(chǎn)品之后的每一個(gè)環(huán)節(jié)獲得增長(zhǎng)。

這種方式一共包括了5個(gè)環(huán)節(jié)，就是AARRR?？赡苡行┡笥讯悸?tīng)說(shuō)過(guò)這個(gè)模型， 但是我還是要把它再說(shuō)一下， 讓大家明確的知道我們到底在討論什么。

在這個(gè)模型中AARRR五個(gè)環(huán)節(jié)是用戶(hù)進(jìn)入你產(chǎn)品之后的5個(gè)體驗(yàn)。這個(gè)體驗(yàn)如何優(yōu)化，如何產(chǎn)生更高的價(jià)值，這是新一代的增長(zhǎng)方式，我們叫它增長(zhǎng)黑客。它尤其關(guān)注的是客戶(hù)留存、激活以及口碑。從用戶(hù)最早進(jìn)來(lái)，我們獲得用戶(hù)開(kāi)始；到后面的激活、留存；到口碑；最后到營(yíng)收，像水從上游流到下游的概念（中間可能還會(huì)有一些平級(jí)的概念）。那么，增長(zhǎng)黑客關(guān)注的是什么呢？ 就是在用戶(hù)體驗(yàn)產(chǎn)品的這五個(gè)環(huán)節(jié)之中，如何能夠不斷的獲得增長(zhǎng)。 讓每個(gè)環(huán)節(jié)都提高一點(diǎn)，就會(huì)最終帶來(lái)一個(gè)全面的提升。這就是我們剛才所說(shuō)的增長(zhǎng)，或者說(shuō)是優(yōu)化的目的。

最上面的acquisition獲得了用戶(hù)。

用戶(hù)來(lái)了之后， 一個(gè)很重要的環(huán)節(jié)是激活：activation， 就是我們可能從渠道買(mǎi)來(lái)的流量（但是并不是所有的用戶(hù)都會(huì)激活它，可能只是因?yàn)槟闼土艘粋€(gè)什么券，或者廣告很吸引人，他來(lái)了；或者它是一個(gè)預(yù)裝的軟件）。但是他并不會(huì)真的變成你的一個(gè)用戶(hù)。變成用戶(hù)激活很重要。

然后接下來(lái)，激活的一部分用戶(hù)會(huì)留存下來(lái)：Retention。意思是他會(huì)長(zhǎng)期使用你的產(chǎn)品， 有一部分甚至?xí)湍闳?strong>refer，幫助你去做口碑營(yíng)銷(xiāo)， 好找更多的人進(jìn)來(lái)，讓更多的人使用你的產(chǎn)品。

所以這個(gè)激活、留存、口碑營(yíng)銷(xiāo)都是非常重要的，任何一個(gè)環(huán)節(jié)都會(huì)帶來(lái)整體的增長(zhǎng)。

那么最后當(dāng)然是最后一步轉(zhuǎn)化，活躍用戶(hù)當(dāng)中的一部分會(huì)為你貢獻(xiàn)收入，無(wú)論是通過(guò)點(diǎn)擊廣告， 還是付費(fèi)購(gòu)買(mǎi)，以及采購(gòu)商品，他都會(huì)給你帶來(lái)收入。

3、轉(zhuǎn)化率優(yōu)化，增長(zhǎng)是最有效的杠桿

AARRR這5個(gè)環(huán)節(jié)里面我們都想做增長(zhǎng)， 大家也知道這個(gè)概念， 那么增長(zhǎng)的是什么呢？實(shí)際上是增長(zhǎng)的轉(zhuǎn)化率。轉(zhuǎn)化率的優(yōu)化是增長(zhǎng)最有效的杠桿。也就是說(shuō)從獲取到激活，這是一個(gè)轉(zhuǎn)化。

可以想象：我們有10000個(gè)獲取的用戶(hù)， 其中有2000個(gè)變成了我們的活躍用戶(hù)， 我們?cè)谶@個(gè)層面有一個(gè)20%的轉(zhuǎn)化率。轉(zhuǎn)化的活躍用戶(hù)有1000個(gè)用戶(hù)留存下來(lái)長(zhǎng)期使用我們產(chǎn)品，那我們就有50%的轉(zhuǎn)化率。這50%里面，可能又會(huì)有10%給我們貢獻(xiàn)了收入，有100個(gè)用戶(hù)給我們貢獻(xiàn)了收入，這又是一個(gè)轉(zhuǎn)化率。

這每一個(gè)環(huán)節(jié)的轉(zhuǎn)化率都是特別特別重要。你只要在這個(gè)轉(zhuǎn)化率這件事情上做出了增長(zhǎng)，做出了優(yōu)化，你就可以帶來(lái)實(shí)際的增長(zhǎng)，而且是最有效的。

當(dāng)然也有一些別的可以做增長(zhǎng)的地方，比如說(shuō)你在acquisition，激活的地方多開(kāi)一些渠道，你可以獲得增長(zhǎng)。在轉(zhuǎn)化的基礎(chǔ)上也是可以從別的地方引流，讓他們活躍，這也是有可能的。

但是這些都不是很有效的方法，最有效的方法就是直接提高轉(zhuǎn)化率。

4、沒(méi)有轉(zhuǎn)化率的優(yōu)化，增長(zhǎng)十分困難

其實(shí)可能大家都知道這個(gè)概念， 但是為了強(qiáng)調(diào)就再說(shuō)一次。

如果你沒(méi)有考慮轉(zhuǎn)化的情況你會(huì)獲得更多的渠道，會(huì)更多的開(kāi)源， 但是就像這幅圖里的一樣，你摘的玉米棒子，你可能一路摘一路丟 ，它沒(méi)有形成轉(zhuǎn)化，沒(méi)有形成留存的話， 就完全浪費(fèi)了所有的努力和投入。

5.什么是轉(zhuǎn)化率優(yōu)化

那么怎么樣去提升轉(zhuǎn)化率，或者說(shuō)怎么樣優(yōu)化轉(zhuǎn)化率呢？其實(shí)對(duì)我們產(chǎn)品經(jīng)理來(lái)講是一個(gè)非常硬功夫的事情，那就是說(shuō)我們要去考慮我們自己的產(chǎn)品， 比如說(shuō)網(wǎng)站或者APP， 我們?cè)趺茨茏屗兊酶?，變得更有效，變得對(duì)我們的用戶(hù)來(lái)說(shuō)更加的高效。

最大化優(yōu)化你的收入，最大化優(yōu)化你的業(yè)務(wù)目標(biāo)，比如讓用戶(hù)更多的下單，或者讓用戶(hù)更多的購(gòu)買(mǎi)，這可能是你的目標(biāo)，但是實(shí)際上能夠產(chǎn)生這個(gè)效益來(lái)說(shuō)，要產(chǎn)生的最核心的反而是是從你的用戶(hù)考慮問(wèn)題，怎么能夠提升他們的用戶(hù)體驗(yàn)。

我舉個(gè)非常直白的例子：我們都說(shuō)怎么讓電商產(chǎn)生更多的收益，我們想讓一個(gè)用戶(hù)在電商平臺(tái)里多停留一些時(shí)間，這當(dāng)然是個(gè)方法，我們通過(guò)優(yōu)化我們的推薦算法，推薦相應(yīng)的商品，提高我們的排序算法，讓用戶(hù)可以更快的找到他想要的東西。我們通過(guò)UI，競(jìng)價(jià)，展示各個(gè)不同層面的優(yōu)化，讓這個(gè)用戶(hù)的體驗(yàn)更好，讓他更有效率的更方便的更可信的找到他想要購(gòu)買(mǎi)的商品。這樣就有可能讓他在同樣的時(shí)間之內(nèi)多下單，讓他在你這個(gè)平臺(tái)待同樣的時(shí)間但是產(chǎn)生更多的效果，產(chǎn)生更多的轉(zhuǎn)化，這個(gè)就是所謂的轉(zhuǎn)化率優(yōu)化的方法。

6、轉(zhuǎn)化率優(yōu)化的力量

轉(zhuǎn)化率優(yōu)化可以擴(kuò)大你的用戶(hù)獲取渠道，可以讓你的市場(chǎng)行為更加有效。比如說(shuō)你轉(zhuǎn)化率在注冊(cè)這個(gè)環(huán)節(jié)上提升了10%，那么你原來(lái)可能來(lái)了10000個(gè)用戶(hù)，最后轉(zhuǎn)化了1000個(gè)注冊(cè)，但是現(xiàn)在你就可以變成1100個(gè)。也就是你的平均成本下降了百分之幾個(gè)點(diǎn)。你原來(lái)花100塊錢(qián)的事情現(xiàn)在花九十幾塊錢(qián)就可以干。如果你能注冊(cè)轉(zhuǎn)化率提升50%，就不得了了。你可以打開(kāi)新的有效的增長(zhǎng)渠道，比如說(shuō)你現(xiàn)在留存變好了，你現(xiàn)在轉(zhuǎn)化變好了，你就可以更大膽的更積極的去燒錢(qián)，更積極的去促銷(xiāo)，更積極的去打渠道。當(dāng)然最重要的還是提升用戶(hù)的體驗(yàn)，讓你的用戶(hù)更開(kāi)心，讓他們可以產(chǎn)生傳播，讓他們給你帶來(lái)更多的流量。當(dāng)然最重要的是當(dāng)你看到你的轉(zhuǎn)化率還不是最好的時(shí)候，還不是100%的時(shí)候，就可以繼續(xù)尋找改進(jìn)的空間。

7、AARRR中的轉(zhuǎn)化率

那么回到AARRR這個(gè)模型我們就可以看到轉(zhuǎn)化率包括了哪些。最簡(jiǎn)單的是一開(kāi)始。比如說(shuō)網(wǎng)站，或者是APP，一開(kāi)始是訪客，然后呢是留存，他不離開(kāi)，然后呢他可能是a-ha moment，進(jìn)來(lái)之后他的第一次訪問(wèn)，覺(jué)得你的產(chǎn)品很棒，完全達(dá)到了甚至超越了他的需求，那么他可能就會(huì)形成進(jìn)一步的轉(zhuǎn)化。然后會(huì)有注冊(cè)這樣一個(gè)過(guò)程，最后可以形成一個(gè)有效的賬號(hào)。然后，在留存這個(gè)環(huán)節(jié)，就可能出現(xiàn)用戶(hù)用他這個(gè)賬號(hào)更多的打開(kāi)你給他發(fā)的通知，然后重新回到平臺(tái)上，然后在你這個(gè)產(chǎn)品里面做更多的訪問(wèn)，然后，那么更加酷的一個(gè)環(huán)節(jié)是轉(zhuǎn)化可能會(huì)更低，但是效果會(huì)更好的一個(gè)環(huán)節(jié)就是這個(gè)口碑營(yíng)銷(xiāo)，他們會(huì)去宣傳，“誒，你產(chǎn)品很棒，體驗(yàn)很好，我希望拉更多的人進(jìn)來(lái)”那么這就是所謂的refer。到最后，revenue，可能轉(zhuǎn)化率更低，但是它的意義就會(huì)更大，它會(huì)點(diǎn)擊廣告，它會(huì)產(chǎn)生購(gòu)買(mǎi)，會(huì)成為你的收入的主要來(lái)源。

大家可以看到這張表的一個(gè)例子就說(shuō)明了：轉(zhuǎn)化的越深，用戶(hù)的行為對(duì)我們的價(jià)值就越高。我們看到最后可能就是購(gòu)買(mǎi)更高價(jià)值的商品之后它可能對(duì)我們的價(jià)值是最高的，是25塊錢(qián)，這樣一個(gè)行動(dòng)。但是要產(chǎn)生這樣一個(gè)行動(dòng)，他要經(jīng)過(guò)前面的層層的環(huán)節(jié)，每一層環(huán)節(jié)轉(zhuǎn)化率的提高都會(huì)對(duì)最后一個(gè)環(huán)節(jié)產(chǎn)生巨大的影響。這就是我們的AARRR模型的意義，讓我們知道在哪些環(huán)節(jié)上可以去優(yōu)化，可以去增長(zhǎng)，他最終產(chǎn)生最后的效果。

8、優(yōu)化方程式

然后呢說(shuō)到這個(gè)優(yōu)化的話，其實(shí)，轉(zhuǎn)化率優(yōu)化這件事情我們用一個(gè)數(shù)學(xué)方法去描述的話，我們?cè)趍aximum，conversion，我們?cè)谧畲蠡D(zhuǎn)化率。

Constraint，受限條件

constraint，就是它受限制的條件，可能是你本身有的用戶(hù)數(shù)量，或者你能夠觸達(dá)的用戶(hù)數(shù)量。你受限制的可能是你budget預(yù)算，然后也受限制于你企業(yè)本身你有多少研發(fā)力量，你有多少數(shù)據(jù)分析能力，你有怎么樣的這種條件。然后從數(shù)學(xué)理論來(lái)講它就是一個(gè)數(shù)學(xué)問(wèn)題，這個(gè)數(shù)學(xué)問(wèn)題有意思在哪里呢。就是我們的目標(biāo)很明確，我們要去優(yōu)化，我們要去最大化我們的轉(zhuǎn)化率。同時(shí)我們的受限條件也很明確，就是我們現(xiàn)有的企業(yè)還有現(xiàn)有環(huán)境的限制，但是這個(gè)變量卻很復(fù)雜，就是我們可以控制變量來(lái)不斷的提升轉(zhuǎn)化率最終達(dá)到最大化。

從產(chǎn)品，運(yùn)營(yíng)兩方面優(yōu)化轉(zhuǎn)化率

但是這個(gè)變量本身卻很復(fù)雜，它包括了至少兩方面是我們產(chǎn)品經(jīng)理和產(chǎn)品負(fù)責(zé)人特別重視的，一個(gè)是我們的產(chǎn)品本身，一個(gè)是我們的運(yùn)營(yíng)，那產(chǎn)品可能就包括你的UI的設(shè)計(jì)，然后你到底有哪些功能，你的用戶(hù)體驗(yàn)流程是什么樣，然后細(xì)節(jié)上的文案是怎么樣的，你的界面布局或者用戶(hù)交互是怎么樣的，然后我們后端的一些，比如說(shuō)推薦算法，排序算法，風(fēng)控策略，派單策略等等，都是我們產(chǎn)品的一部分，她都可以做各種各樣的調(diào)整，各種各樣的變化。它是一個(gè)很復(fù)雜的變量。那么運(yùn)營(yíng)環(huán)節(jié)也是，我們可以做各種各樣的活動(dòng)，做各種各樣的促銷(xiāo)，做內(nèi)容營(yíng)銷(xiāo)，然后做大量的PR，傳播，分享等等各種各樣的努力都可以做。這些都是我們可控的變量，我們通過(guò)控制這些變量，來(lái)最大化我們的轉(zhuǎn)化率，這就是整個(gè)優(yōu)化所做的事情。

優(yōu)化方程式的解釋無(wú)限的

如果大家學(xué)過(guò)優(yōu)化理論的話可能知道，如果在一個(gè)很明確的限制條件下，有一個(gè)很明確的優(yōu)化目標(biāo)，再有一個(gè)變量解的空間，我們是有很多算法來(lái)找到這個(gè)最優(yōu)解的。比如說(shuō)gradient這種算法，比如說(shuō)模擬退火等等這樣人工智能的算法都可以。但是很遺憾，在我們的企業(yè)運(yùn)作中，在我們的互聯(lián)網(wǎng)產(chǎn)品優(yōu)化過(guò)程中我們這些算法都幫不上忙，原因就在變量的解的空間太大了，解集是無(wú)限的，也就是說(shuō)我們沒(méi)有辦法去遍歷，沒(méi)有任何的辦法找到最優(yōu)的解，所以我們需要一個(gè)迭代的方法。

9、如何優(yōu)化轉(zhuǎn)化率

在這張圖里就展示了它的方法?？赡芊浅７浅５脑己痛直?， 但它也是我們唯一可以仰仗的方法。也就是說(shuō)我們不斷在已有產(chǎn)品已有運(yùn)營(yíng)的基礎(chǔ)之上，我們?nèi)プ鲂┪⒌恼{(diào)整 ，然后去嘗試哪些調(diào)整有可能帶來(lái)轉(zhuǎn)化率的增長(zhǎng)，哪些不可以。然后我們通過(guò)這樣的方式一點(diǎn)一點(diǎn)去優(yōu)化提升我們的轉(zhuǎn)化率。方法很簡(jiǎn)單，根據(jù)我們要優(yōu)化的目標(biāo)，把比如說(shuō)頁(yè)面上的改動(dòng)灰度的發(fā)布給一部分用戶(hù)，然后去看它的數(shù)據(jù)。比如在這張圖里， 可能藍(lán)色的改版放給了一半用戶(hù)，他們的轉(zhuǎn)化率是11%，而原來(lái)這個(gè)綠色的版本是23%。數(shù)據(jù)結(jié)果告訴我們 ，這個(gè)綠色的版本更好，也就是說(shuō)我們嘗試了解空間里至少兩個(gè)點(diǎn)，其中一個(gè)點(diǎn)比另一個(gè)點(diǎn)好我們選擇綠色的版本。那么在這里要注意，這個(gè)流程是只改變一個(gè)條件的單盲試驗(yàn)，也就是這個(gè)對(duì)比里面我們僅僅是對(duì)比了這個(gè)產(chǎn)品的不同。產(chǎn)品本身的用戶(hù)流量應(yīng)該是比較相似的，他們用戶(hù)的來(lái)訪時(shí)間應(yīng)該是比較相似的，其他的促銷(xiāo)活動(dòng)，所有的用戶(hù)應(yīng)該都享受。在其他條件都不便的情況下，只改變網(wǎng)頁(yè)一點(diǎn)點(diǎn)的變化，去對(duì)比數(shù)據(jù)轉(zhuǎn)化率的數(shù)據(jù)，然后去做決策到底哪個(gè)更好。要注意這是只改變一個(gè)條件的單盲實(shí)驗(yàn)，我們后面再去提到這一點(diǎn)。

10、通過(guò)優(yōu)化打造MVP

優(yōu)化的時(shí)候這種迭代的思想其實(shí)是從我們第一天就開(kāi)始的， 也就是我們大家都聽(tīng)說(shuō)過(guò)的MVP的概念， 最小的最有效的產(chǎn)品，這樣一個(gè)概念。那么從一個(gè)最簡(jiǎn)單的，可以滿足用戶(hù)需求的，達(dá)到我們市場(chǎng)目標(biāo)的產(chǎn)品開(kāi)始，我們不斷的對(duì)它進(jìn)行優(yōu)化，進(jìn)行改進(jìn)，知道它越來(lái)越好，達(dá)到一個(gè)最優(yōu)的效果。

那么要注意的一點(diǎn)是，MVP的做法，第一個(gè)方法是不對(duì)的， 最上面那種。MVP說(shuō)我現(xiàn)有一個(gè)很完美的設(shè)計(jì)，然后我先做它的一部分，做一個(gè)輪子不能用，做兩個(gè)輪子還是不能用，做個(gè)車(chē)架子也不能用，把他們堆起來(lái)才能用， 這不是MVP的方法。這樣的方法就跟傳統(tǒng)產(chǎn)品一樣，就跟你做一個(gè)牙膏或者手機(jī)一樣。你先做個(gè)設(shè)計(jì)，然后把它做出來(lái)，然后再推向市場(chǎng)，這樣的話你就失去了我們剛才所說(shuō)的產(chǎn)品優(yōu)化的迭代的效能， 你就變得跟傳統(tǒng)企業(yè)一樣，你的優(yōu)化會(huì)變得愈加的困難。

那么另外一種方式也更加不可取，就是你先做一個(gè)滑步車(chē)，然后再做一個(gè)自行車(chē)，把它變成摩托車(chē)，最后變成汽車(chē)，也就是說(shuō)你總是在改變你的產(chǎn)品形態(tài)。那么這個(gè)并不是一個(gè)不可以的迭代方法，但是它的成本太高，就是它是一個(gè)非常糟糕的路徑。正確方法就是下面所說(shuō)的，你現(xiàn)有一個(gè)產(chǎn)品，然后不斷的對(duì)它進(jìn)行改進(jìn)，當(dāng)然改進(jìn)的時(shí)候要通過(guò)試驗(yàn)的方法，這是我們后面再提的。

11、優(yōu)化中常見(jiàn)問(wèn)題

a)獲取優(yōu)化試驗(yàn)結(jié)果，試驗(yàn)結(jié)果準(zhǔn)確度、可信度可能不準(zhǔn)

舉例：我們做了一個(gè)游戲的產(chǎn)品，很小的一個(gè)產(chǎn)品，然后我們發(fā)現(xiàn)有一些玩家愿意在上面付費(fèi)，我們希望能提高玩家在付費(fèi)環(huán)節(jié)的轉(zhuǎn)化率，我們做了一個(gè)嘗試，做了嘗試之后呢比如說(shuō)我們推給500個(gè)玩家，我們發(fā)現(xiàn)這500個(gè)玩家付費(fèi)比其他的用戶(hù)要多，那么這一定說(shuō)明我們新推出的這個(gè)方案好么，我們新推出的這個(gè)碉堡好么？不一定，可能你做實(shí)驗(yàn)的這500個(gè)人里面你恰好圈中了王思聰，他的下單率遠(yuǎn)遠(yuǎn)大過(guò)其他人，那么你的這個(gè)試驗(yàn)結(jié)果就不準(zhǔn)確。那么剛才所說(shuō)的那種迭代方法就沒(méi)有真的產(chǎn)生效果， 因?yàn)榻Y(jié)果可能是不對(duì)的，它促使你做出了一個(gè)錯(cuò)誤的判斷。

b)試驗(yàn)結(jié)果分析算法置信區(qū)間的收斂速度，試驗(yàn)的敏感性可能不敏感

另外如果你的試驗(yàn)流量，試驗(yàn)分析，還有試驗(yàn)的設(shè)計(jì)不是很理想的話，那么你通過(guò)一個(gè)置信區(qū)間的分析你會(huì)發(fā)現(xiàn)， 你統(tǒng)計(jì)的結(jié)果從概率角度講可能會(huì)非常的不準(zhǔn)確。舉例來(lái)說(shuō)，你對(duì)比兩組數(shù)據(jù)，實(shí)驗(yàn)組和對(duì)照組相比，結(jié)果可能是-200%到+500%這樣一個(gè)變化的區(qū)間，你根本拿不準(zhǔn)這個(gè)迭代使你的產(chǎn)品變好了還是變壞了。這也是另外一個(gè)痛點(diǎn)。

c)大量?jī)?yōu)化并發(fā)試驗(yàn)，針對(duì)特定用戶(hù)群體的定向試驗(yàn)，分層試驗(yàn)、交叉試驗(yàn)等等可能很繁瑣

如果你要去做迭代的話呢，你要大量去做嘗試， 做改動(dòng)，但是大量的改動(dòng)，如果你同時(shí)上線，或者分開(kāi)給不同的用戶(hù)去體驗(yàn)，可能會(huì)遇到一個(gè)苦難，就是他們?cè)囼?yàn)的結(jié)果會(huì)不會(huì)互相干擾，試驗(yàn)的用戶(hù)會(huì)不會(huì)之間有一些問(wèn)題，那么這也是一個(gè)挑戰(zhàn)。

d)管理海量?jī)?yōu)化試驗(yàn)，包括海量歷史數(shù)據(jù)與經(jīng)驗(yàn)，細(xì)致的試驗(yàn)數(shù)據(jù)分析可能很復(fù)雜

最后當(dāng)然也包括你如果能夠管理海量數(shù)據(jù)。當(dāng)然大家都是產(chǎn)品經(jīng)理，都會(huì)有自己的idea。 你可能有10個(gè)想法，10個(gè)對(duì)你產(chǎn)品優(yōu)化的想法去上線， 一個(gè)公司如果有3個(gè)就是30個(gè)， 如果有10個(gè)產(chǎn)品經(jīng)理就是100個(gè)。 那么過(guò)了兩個(gè)星期你還會(huì)記得你做了哪些試驗(yàn)么，這會(huì)很痛苦。

12、優(yōu)化的方向，可以?xún)?yōu)化的地方

說(shuō)了這些，我們要慢慢引出我們核心的概念，其實(shí)，我們優(yōu)化的目的很明確，剛才已經(jīng)說(shuō)過(guò)了，留存轉(zhuǎn)化，用戶(hù)活躍轉(zhuǎn)化行為，比如購(gòu)物車(chē)的添加購(gòu)物車(chē)的退出，功能使用等等。然后，你可能要做的優(yōu)化迭代的方向就是你的各種創(chuàng)意， 你的各種想法，你根據(jù)用戶(hù)行為作出一些判斷。比如說(shuō)在UI層面，在用戶(hù)體驗(yàn)層面做了一些改進(jìn)。比如說(shuō)你的頁(yè)面布局，有的時(shí)候這個(gè)東西影響非常的大，你是把用戶(hù)的4個(gè)籃子放在最上面，還是最下面，還是左邊還是右邊，這都很有影響。當(dāng)然文案也很重要，如果我現(xiàn)在看到這個(gè)案子上面寫(xiě)的是現(xiàn)在申請(qǐng)，我打賭它的轉(zhuǎn)化率肯定不如點(diǎn)擊領(lǐng)取大獎(jiǎng)的效果要好。

13、優(yōu)化中需要注意的事情

推薦的算法，產(chǎn)品的新功能這些，都是我們平時(shí)就想到，就要去迭代的東西。但是這些迭代，和我們前面所說(shuō)例子的一樣，到底能不能產(chǎn)生優(yōu)化的效果呢，到底能不能提升訪問(wèn)率UE，點(diǎn)擊率，支付率等等， 那么我們就需要注意什么呢？我們需要科學(xué)的流量分隔，我們要讓實(shí)驗(yàn)組實(shí)驗(yàn)對(duì)象具備典型的用戶(hù)特征， 不要出現(xiàn)像王思聰這樣奇葩的被采樣的用戶(hù)做實(shí)驗(yàn)。另外我們需要一個(gè)可信的能夠快速收斂的95%置信區(qū)間，他能告訴我們這個(gè)迭代能夠帶10%的增長(zhǎng)，這10%的置信區(qū)間是從5%到15%。那么我就確定了我至少有95%的概率可以提升5%，另外你也可以考慮在試驗(yàn)當(dāng)中做人群的定向，比如說(shuō)我只對(duì)上海的或者深圳的女性用戶(hù)做試驗(yàn)，我能從中學(xué)到什么東西，能對(duì)我的產(chǎn)品有什么啟發(fā)。

二、優(yōu)化的利器：AB測(cè)試

1、你的測(cè)試真的是AB測(cè)試么？

上面所說(shuō)的所有都是為了引出AB測(cè)試這個(gè)概念，AB測(cè)試就是Always be testing 。它的概念就是一個(gè)科學(xué)的測(cè)試。它能夠幫助我們?nèi)ズ侠淼牟蓸佑脩?hù)流量，帶有一部分隨機(jī)性，幫助我們?nèi)?shí)現(xiàn)實(shí)驗(yàn)流量的采樣，同時(shí)支持很多的變量參與實(shí)驗(yàn)， 我們可能在UI層面要做實(shí)驗(yàn)， 我們可能在促銷(xiāo)或者活動(dòng)上要嘗試，我們到底上不上一個(gè)大轉(zhuǎn)盤(pán)。我們當(dāng)然也會(huì)在后端的派對(duì)算法和推薦算法上做嘗試，他們都可能影響我們的效果，這些變量的影響會(huì)怎么樣，需要一個(gè)科學(xué)的方法去追蹤，我們要知道到底哪個(gè)變化產(chǎn)生了什么樣的影響，可以幫助我們產(chǎn)品經(jīng)理在管理產(chǎn)品的時(shí)候可以很容易的去選擇到底哪個(gè)版本你想交給你的用戶(hù)去體驗(yàn)，然后當(dāng)然還有實(shí)驗(yàn)時(shí)間的問(wèn)題，就是說(shuō)這個(gè)實(shí)驗(yàn)跑多久才可以做出決策，這其實(shí)也是AB測(cè)試需要解決的問(wèn)題。就是如果我們不做AB測(cè)試，我們直接上線了，然后過(guò)了兩天，我們覺(jué)得這個(gè)效果，數(shù)據(jù)不錯(cuò)，就真的數(shù)據(jù)不錯(cuò)么，真不一定，這后面會(huì)說(shuō)。當(dāng)然也有收斂區(qū)間置信區(qū)間等等問(wèn)題，這都是AB測(cè)試要解決的。

2、優(yōu)化方式

其實(shí)AB測(cè)試的方法論大家在前面已經(jīng)知道，有一些概念，但是更重要的是把它集成到我們產(chǎn)品研發(fā)，測(cè)試，上線，運(yùn)營(yíng)的各個(gè)環(huán)節(jié)中去，這個(gè)才是在Google的秘訣所在。假如你有了AB測(cè)試這個(gè)工具，集成了SDK或者怎么樣，你總是在設(shè)計(jì)一些新的迭代方案，就是我剛才說(shuō)的UI能不能變一變，按鈕的位置能不能變一變，文案能不能變一變，上不上一個(gè)促銷(xiāo)等等，這些方案都可以灰度的上線，就是并不是所有用戶(hù)都體驗(yàn)的，然后你去設(shè)定實(shí)驗(yàn)流量，比如方案A讓1%的用戶(hù)去體驗(yàn)一下，方案B讓2%的用戶(hù)去體驗(yàn)一下，然后這些放進(jìn)實(shí)驗(yàn)組這些用戶(hù)他們的數(shù)據(jù)會(huì)被實(shí)施長(zhǎng)期的采集下來(lái)，然后根據(jù)這個(gè)實(shí)驗(yàn)數(shù)據(jù)我們會(huì)知道，有些方案特別的棒。比如說(shuō)我們改了一個(gè)文案，使得用戶(hù)下單率提高了，那么我們就可以把它發(fā)布，讓更多的人體驗(yàn)這個(gè)文案。如果它不好，那我們就要打回去重做，我們就要去思考為什么這個(gè)數(shù)據(jù)和我們想象的不一樣呢，為什么他們沒(méi)有提高呢，為什么沒(méi)有增長(zhǎng)，那么我們?cè)撛趺磸闹形〗?jīng)驗(yàn)教訓(xùn)，然后讓它不斷的去新的迭代。

3、AB測(cè)試與統(tǒng)計(jì)分析的差異

接下來(lái)我要說(shuō)一些理論性的東西，就是AB測(cè)試集成到我們系統(tǒng)里面，是正確的方法，為什么正確呢，它與我們做統(tǒng)計(jì)分析，它與我們做后驗(yàn)的數(shù)據(jù)分析，有什么區(qū)別呢。

先驗(yàn)性

如果我們每次改版每次迭代的是都沒(méi)有經(jīng)過(guò)AB測(cè)試就直接上線了，那會(huì)發(fā)生什么事情呢，那么可能一個(gè)不太成功的改版不太成功的策略被上線之后就直接帶來(lái)了損失，比如說(shuō)降低了20%的用戶(hù)下單量，那么如果真的發(fā)生了這樣的事情的話，我們后驗(yàn)的話就產(chǎn)生了不可彌補(bǔ)的損失，但如果我們做AB測(cè)試我們可以怎么樣呢，我只采樣一部分的用戶(hù)，比如1%的用戶(hù)來(lái)做這個(gè)實(shí)驗(yàn)。

舉例來(lái)說(shuō)，我們遇到過(guò)一個(gè)旅游類(lèi)的產(chǎn)品，它在他的注冊(cè)環(huán)節(jié)做了一個(gè)小小的改版，這個(gè)改版也經(jīng)過(guò)一些測(cè)試，但是他沒(méi)有想到的是對(duì)失眠上的某些安卓手機(jī) 會(huì)有一些不過(guò)注冊(cè)流程上會(huì)有問(wèn)題，那么他每天會(huì)花10玩塊錢(qián)去采購(gòu)流量，會(huì)吸引一萬(wàn)個(gè)用戶(hù)來(lái)注冊(cè)，結(jié)果因?yàn)檫@個(gè)bug的原因，有40%的用戶(hù)想注冊(cè)而注冊(cè)不了而流失掉了，意思就是這10萬(wàn)塊錢(qián)里面就有4萬(wàn)塊錢(qián)浪費(fèi)掉了，但是他的這個(gè)心的改版通過(guò)我們AB測(cè)試來(lái)驗(yàn)證一下，用1%的流量來(lái)驗(yàn)證一下， 雖然也有40%的損失，但是它是1%的40%，換句話說(shuō)他不是損失4萬(wàn)塊錢(qián)，而是損失400塊錢(qián)，這就是先驗(yàn)性的意義所在。

并行性

也就是說(shuō)我們真正AB測(cè)試也好，產(chǎn)品優(yōu)化也好，真正的使用場(chǎng)景并不是說(shuō)我現(xiàn)在有一個(gè)迭代方案，然后去先驗(yàn)證一下然后決定是不是上線，不是這樣的。顯示當(dāng)中你要做到優(yōu)化，你必須，就是我們剛才說(shuō)到的優(yōu)化問(wèn)題，解的空間是無(wú)限的，我不能一個(gè)個(gè)點(diǎn)著找，我必須同時(shí)找10個(gè)點(diǎn)，20個(gè)點(diǎn)，100個(gè)點(diǎn)，我要同時(shí)上線很多很多可能的方案，然后對(duì)它進(jìn)行測(cè)試并行，而不是說(shuō)上一個(gè)，不行再上一個(gè)，那樣的話我一個(gè)月只能去驗(yàn)證2、3個(gè)idea。但是如果有了并行性，AB測(cè)試同時(shí)上線，1%的用戶(hù)嘗試這個(gè)方案，1%的用戶(hù)嘗試另一個(gè)方案，你就可以同時(shí)檢驗(yàn)20個(gè)方案，100個(gè)方案，1000個(gè)方案都是有可能的。

科學(xué)性

是只改變一個(gè)條件的單盲試驗(yàn)，如果你的AB測(cè)試的試驗(yàn)則和對(duì)照組并不只是改變了一個(gè)條件， 這個(gè)條件就是你想做的試驗(yàn)，你想迭代改版的東西。如果不是這樣，比如說(shuō)實(shí)驗(yàn)組的用戶(hù)和對(duì)照組的用戶(hù)還有一個(gè)另外的區(qū)別， 比如說(shuō)我們剛才實(shí)驗(yàn)組里有王思聰，或者實(shí)驗(yàn)組用戶(hù)享受了一些促銷(xiāo)和優(yōu)惠，對(duì)照組沒(méi)有， 那么你的實(shí)驗(yàn)結(jié)果就不科學(xué)不可信，它對(duì)你沒(méi)有幫助，那么這樣說(shuō)AB測(cè)試索要解決的問(wèn)題，這也是AB測(cè)試的價(jià)值所在。

4、AB測(cè)試提高效率

回到剛才的問(wèn)題，你沒(méi)有科學(xué)性，并行性，先驗(yàn)性，會(huì)發(fā)生什么呢，可能你第一次嘗試AB測(cè)試會(huì)覺(jué)得ok，我需要去花很多是人力精力，寫(xiě)很多代碼去做AB測(cè)試，花了一些時(shí)間，得出了一些結(jié)論，一個(gè)版本點(diǎn)擊了100下，一個(gè)版本點(diǎn)擊 了97下，那到底是提升了降低了還是沒(méi)有變呢你也不知道，這樣你的優(yōu)化就無(wú)從談起。正確的使用方法就是你有一套強(qiáng)大的工具，然后你可以同時(shí)上線很多很多迭代的方案，可能在一周的時(shí)間內(nèi)就驗(yàn)證了100個(gè)想法。其中可能有60個(gè)70都是既不能帶來(lái)增長(zhǎng)，也不會(huì)降低的，可能會(huì)有十幾個(gè)會(huì)跟你之前想象到的完全不同，它會(huì)降低你的營(yíng)收，降低你的轉(zhuǎn)化率，可能只有二十個(gè)或者十幾個(gè)能夠提升你的轉(zhuǎn)化率，但是你就把這十幾個(gè)發(fā)布出去，就可以產(chǎn)生效果，這就是使用AB測(cè)試優(yōu)化的方法。這個(gè)是Google天天所做的事情。

5、自建的復(fù)雜程度

如果你能夠這樣去做，你有一套工具可以輕松開(kāi)展AB測(cè)試，它除了能幫你去優(yōu)化之外呢， 他可以幫助你更快的改版，更快的上線，可以一鍵發(fā)布給所有的人，一鍵回滾，避免出現(xiàn)線上的事故，也可以實(shí)施的獲取實(shí)驗(yàn)結(jié)果，加速制定期間的收斂，幫助你更快的決策，支持大量的并發(fā)試驗(yàn)。輕松管理海量的實(shí)驗(yàn)。如果你有這樣一套工具，你的優(yōu)惠就變得異常的強(qiáng)大，但是如果你需要這一套工具的話呢，我的建議是你不要自己去造輪子，我們AB測(cè)試就在做這件事情，AB測(cè)試這樣一個(gè)工具，那么我們開(kāi)發(fā)了一年半的時(shí)間，才剛剛基本沒(méi)有bug了，系統(tǒng)比較完善，我們有強(qiáng)大的功能了，但是后面還有很多很多未來(lái)的挑戰(zhàn)等待著我們，所以經(jīng)驗(yàn)就是這個(gè)事情還是很復(fù)雜的。

6、國(guó)際頂尖增長(zhǎng)黑客的方法

然后說(shuō)一說(shuō)我的老東家，硅谷的一些公司是怎么利用這些工具實(shí)現(xiàn)優(yōu)化的。

Airbnb

他們是對(duì)AB測(cè)試實(shí)踐非常非常精細(xì)的一個(gè)公司，它從第一天開(kāi)始，所有的重要頁(yè)面，關(guān)系到轉(zhuǎn)化率的。比如說(shuō)注冊(cè)頁(yè)面，注冊(cè)頁(yè)面轉(zhuǎn)化率很重要喔，通過(guò)AB測(cè)試的方法來(lái)迭代，怎么做呢 ，它的每一個(gè)改版，每一個(gè)調(diào)優(yōu)都首先灰度發(fā)布到1%的用戶(hù)，比較大的可以先發(fā)布到5%的用戶(hù)，去看看數(shù)據(jù)，用戶(hù)的下單，用戶(hù)的留存，用戶(hù)的注冊(cè)率轉(zhuǎn)化率，根據(jù)這個(gè)來(lái)決定是上線還是打回重做，它就保證了Airbnb總是在不停的增長(zhǎng)，不停的優(yōu)化。

Google

是最早實(shí)現(xiàn)這件事情的公司，現(xiàn)在每個(gè)月可能都會(huì)跑幾百個(gè)實(shí)驗(yàn)，AB測(cè)試，從中找到實(shí)解，當(dāng)然主要是搜索結(jié)果和廣告的點(diǎn)擊率，這是特別重要的一件事情，通過(guò)這樣的事情呢，google實(shí)現(xiàn)了每個(gè)月增長(zhǎng)2%，不要小看這個(gè)數(shù)字，實(shí)際上google通過(guò)這樣每年可以達(dá)到20%增長(zhǎng)率，它就可以一直超過(guò)華爾街對(duì)它的期待，那么它的股價(jià)就可以不斷的攀升，不要小看了這個(gè)數(shù)字。開(kāi)個(gè)玩笑話，微軟，蘋(píng)果并不能使用大規(guī)模AB測(cè)試這樣一個(gè)黑科技來(lái)做迭代，為什么呢，微軟它的一個(gè)重要產(chǎn)品，比如說(shuō)Xbox，它想Xbox的配置做一個(gè)AB測(cè)試時(shí)不現(xiàn)實(shí)的，蘋(píng)果的iphone也沒(méi)有辦法真的去做AB測(cè)試，它就沒(méi)有辦法保證每個(gè)產(chǎn)品電腦推出迭代都可以?xún)?yōu)化，一旦它這個(gè)季度沒(méi)有實(shí)現(xiàn)優(yōu)化，沒(méi)有實(shí)現(xiàn)增長(zhǎng)，它的股價(jià)就會(huì)暴跌，微軟和蘋(píng)果都曾經(jīng)出現(xiàn)股價(jià)腰斬的情況，但是google從來(lái)沒(méi)有出現(xiàn)過(guò)，

Facebook

在移動(dòng)端每次的升級(jí)改版它都會(huì)把未來(lái)6個(gè)月要做的各種改版，全部都灰度的發(fā)布給用戶(hù)，用你1%的用戶(hù)試試這個(gè)改動(dòng)，用1%的用戶(hù)試試那個(gè)改動(dòng)，只有對(duì)它轉(zhuǎn)化率提升的，它才會(huì)發(fā)布出去，那些不好的就不會(huì)去發(fā)布。

知乎等

其實(shí)國(guó)內(nèi)也有一些企業(yè)在踐行這樣的實(shí)驗(yàn)，比如百度的搜索，大眾點(diǎn)評(píng)的推薦系統(tǒng)，還有知乎的運(yùn)營(yíng)，知乎我就說(shuō)個(gè)例子，知乎他們通過(guò)數(shù)據(jù)發(fā)現(xiàn)如果一個(gè)用戶(hù)在知乎上回答了超過(guò)3個(gè)問(wèn)題，他就會(huì)比沒(méi)有回到夠3個(gè)問(wèn)題的活躍度高一倍以上，它就會(huì)覺(jué)得一個(gè)用戶(hù)回答3個(gè)問(wèn)題很重要，那怎么辦呢， 它就用AB測(cè)試，篩選了一部分新用戶(hù)把它拆成試驗(yàn)組合對(duì)照組，對(duì)實(shí)驗(yàn)組的新用戶(hù)就會(huì)用他的運(yùn)營(yíng)人員，比如說(shuō)是男性用戶(hù)，就會(huì)偽裝成美女去邀請(qǐng)你去回答三個(gè)問(wèn)題，邀請(qǐng)你回答一個(gè)問(wèn)題，回答了，再邀請(qǐng)你回答，再邀請(qǐng)你回答，等你回答了3個(gè)問(wèn)題她就不邀請(qǐng)你了。然后呢，他就會(huì)AB測(cè)試對(duì)比，用了這個(gè)策略的新用戶(hù)和沒(méi)有用這個(gè)策略的新用戶(hù)哪個(gè)更活躍。實(shí)驗(yàn)結(jié)果非常好， 用了這個(gè)方案能夠帶來(lái)轉(zhuǎn)化率的增長(zhǎng)，能夠提升，所以它就發(fā)布給所有用戶(hù)。如果你是新注冊(cè)的知乎用戶(hù)，你相信我，你一定會(huì)被邀請(qǐng)回答3個(gè)問(wèn)題。

7、高效AB測(cè)試七條黑客經(jīng)驗(yàn)

接下來(lái)，因?yàn)锳B測(cè)試這件事情很復(fù)雜，所以我們?cè)谶@里不可能展開(kāi)說(shuō)的特別細(xì)，但是有一些經(jīng)驗(yàn)確實(shí)非常通用的，這個(gè)我們?cè)谄渌麍?chǎng)合也分享過(guò)，但在這里大家還是可以去再次感受一下，了解一下高效AB測(cè)試七條黑客經(jīng)驗(yàn)，

• 效果驚人：你產(chǎn)品的一些微小的改動(dòng)，有可能就造成對(duì)KPI的巨大影響。有的時(shí)候一個(gè)顏色的變化就有可能帶來(lái)100%的分享率的提高，都是有可能的。像我們自己的客戶(hù)，在他們自己的教育類(lèi)網(wǎng)站，他們注冊(cè)改了一個(gè)文案，就提升30%的學(xué)生注冊(cè)率。
• 耐心測(cè)試：但是大多數(shù)會(huì)的改動(dòng)并不會(huì)大幅度提高KPI，就像你做100個(gè)實(shí)驗(yàn)可能6、70個(gè)都沒(méi)有什么用，這是非?？赡艿摹?/li>
• Twyman法則：而且對(duì)于這件事情還有一個(gè)twyman提出的法則，跟墨菲定律一下很搞笑，說(shuō)的是凡是看上去很出人意料的圖表，通常都是因?yàn)閿?shù)據(jù)統(tǒng)計(jì)錯(cuò)了，
• 你很不同：另外產(chǎn)品之間往往可以參照的東西不多，你去復(fù)雜他人的經(jīng)驗(yàn)往往沒(méi)有用。開(kāi)玩笑說(shuō)如果京東把亞馬遜的一些策略拿過(guò)來(lái)，說(shuō)不定有點(diǎn)用，但可能不好，如果抄淘寶的，可能會(huì)是災(zāi)難性的后果。
• 速度是關(guān)鍵：但是任何能夠加速用戶(hù)響應(yīng)時(shí)間的改動(dòng)，都會(huì)給KPI帶來(lái)提升，一定要記住了如果你的技術(shù)團(tuán)隊(duì)有能力讓你的Html5頁(yè)面變得更快，或者讓你的網(wǎng)站打開(kāi)的更快，或者APP響應(yīng)的更快，就讓他們?nèi)σ愿叭プ?，給他們無(wú)限的支持，因?yàn)檫@一定會(huì)給你帶來(lái)正面的提升。
• 關(guān)注產(chǎn)品的質(zhì)量：你想要在一個(gè)環(huán)節(jié)中提升點(diǎn)擊率其實(shí)不難，就像我說(shuō)的點(diǎn)進(jìn)來(lái)是大獎(jiǎng)，或者你在推送消息的時(shí)候說(shuō)您有一個(gè)大禮包待領(lǐng)取，或者您有一個(gè)獎(jiǎng)待領(lǐng)取，這種方法往往能產(chǎn)生一個(gè)很好的點(diǎn)擊率?；蛘吣阍陔娚唐脚_(tái)，你的展示方式是一個(gè)大美女，那么一定往往能提升你的點(diǎn)擊率，但是這件事情對(duì)你的產(chǎn)品并沒(méi)有什么本質(zhì)的幫助，他們不會(huì)有實(shí)質(zhì)性的幫助，更重的是你要考慮的是真正核心的用戶(hù)轉(zhuǎn)化率在哪里。我們有個(gè)定義叫Core Action，就是你的用戶(hù)到底什么樣一個(gè)行動(dòng)，這件事情的轉(zhuǎn)化率最重要，你要搞明白。對(duì)Facebook來(lái)說(shuō)他的轉(zhuǎn)化率最重要就是他去發(fā)布了一個(gè)行動(dòng)，或者是加了一個(gè)好友，這件事情可能特別特別重要。對(duì)google來(lái)說(shuō)可能最重要的轉(zhuǎn)化率是用戶(hù)點(diǎn)擊搜索結(jié)果這件事情很重要。對(duì)Uber來(lái)說(shuō)，可能用戶(hù)召喚一個(gè)行程可能特別重要，一定要關(guān)注在這個(gè)產(chǎn)品質(zhì)量上面。
• 快速輕量迭代：另外在做迭代的時(shí)候一定要做一些輕量的，做一些小的改動(dòng)，做一些小的實(shí)驗(yàn)，千萬(wàn)不要去做大實(shí)驗(yàn)，因?yàn)檫@種東西往往是弊大于利的。你做一個(gè)大的改動(dòng)，最糟糕的情況是你把用戶(hù)群都變了，原來(lái)很喜歡的用戶(hù)他走了，多糟糕啊，來(lái)了一些新用戶(hù)你指望他們重新填充你的retention留存率是挺難的一件事情。另外你一個(gè)大的改動(dòng)，你很多地方都改了，那么你的實(shí)驗(yàn)結(jié)果也沒(méi)有辦法歸一，沒(méi)有辦法去幫助你去積累經(jīng)驗(yàn)。你確實(shí)在優(yōu)化的解空間當(dāng)中的一個(gè)點(diǎn)跳到了好遠(yuǎn)好遠(yuǎn)地方的另一個(gè)點(diǎn)，那么中間這些點(diǎn)會(huì)有什么變化你一無(wú)所知。但是你用輕量迭代就能幫助你去積累更好的經(jīng)驗(yàn)了。
• 用戶(hù)數(shù)量是基礎(chǔ)：最后，用戶(hù)數(shù)量也是個(gè)問(wèn)題，如果你只有100個(gè)用戶(hù)，可能AB測(cè)試并不是一個(gè)適合的黑科技對(duì)于你來(lái)說(shuō)，你可能需要更多的是用戶(hù)調(diào)研，用戶(hù)分析。只有當(dāng)你有了1000個(gè)日活的時(shí)候，可能AB測(cè)試這種迭代的方法才有效，否則你的實(shí)驗(yàn)結(jié)果是不準(zhǔn)確的。開(kāi)玩笑說(shuō)，如果你只有兩個(gè)用戶(hù)，一個(gè)人說(shuō)你好一個(gè)人說(shuō)你不好，那么你信誰(shuí)呢，那么AB測(cè)試對(duì)你是沒(méi)有用的。

8、優(yōu)化指標(biāo)的設(shè)計(jì)

還有一點(diǎn)也很重要，就是我們剛才所說(shuō)的優(yōu)化指標(biāo)的設(shè)計(jì)，我們剛才列舉了很多PV，UV用戶(hù)留存時(shí)間等等，但是在每個(gè)階段在每個(gè)我們實(shí)驗(yàn)設(shè)計(jì)里都會(huì)有一個(gè)不同的優(yōu)化指標(biāo)，這是很可以理解的，也是正確的。但是你要想一個(gè)問(wèn)題是，你的真正的遠(yuǎn)景目標(biāo)是什么，我們管他叫北極星。這個(gè)北極星很重要，就是你的所有努力其實(shí)要朝著北極星進(jìn)發(fā)，然后你每一次優(yōu)化的時(shí)候你的優(yōu)化指標(biāo)都應(yīng)是拖動(dòng)你的發(fā)展方向更靠近這個(gè)北極星，他不一定時(shí)要直直的去的，它可以是歪著去的，但是他歪著去之后呢，你要不斷去調(diào)整你的優(yōu)化指標(biāo)，讓他越來(lái)越靠近你的北極星。我覺(jué)得最成功的產(chǎn)品在這方面的把握是最好的。不忘初心，還是剛才那個(gè)觀點(diǎn)，你不要總是想著一個(gè)細(xì)節(jié)的點(diǎn)擊率，而是你要有一個(gè)更遠(yuǎn)大的目標(biāo)，那么在這里core action很有用。

案例

墨跡天氣

墨跡天氣，它是一個(gè)很工具類(lèi)的app，他的用戶(hù)體驗(yàn)很不錯(cuò)，我們公認(rèn)他是一個(gè)非常棒的產(chǎn)品，但是他依然很關(guān)注轉(zhuǎn)化率的提高，比如說(shuō)分享，他希望大家能夠分享更多墨跡的故事，天氣的故事，天氣的內(nèi)容，他的分享的圖標(biāo)，哪怕是一個(gè)小小的圖標(biāo)的變化，也會(huì)帶來(lái)轉(zhuǎn)化率不同，比如像這個(gè)案例里面，三種不同的設(shè)計(jì)對(duì)比原始的分享的設(shè)計(jì)，方案三能夠提高18%的分享率，其實(shí)非常的高，他可能每天有10萬(wàn)的分享就帶來(lái)1萬(wàn)的增長(zhǎng)，這是不得了的一個(gè)事情，然后你會(huì)看到很有意思就是這個(gè)置信區(qū)間，有時(shí)候也是比較寬的，當(dāng)你的實(shí)驗(yàn)流量不多的時(shí)候，比如說(shuō)方案二提升了5%，也是提升的，但他是從-1%到+10%，那么就不是那么確定性的結(jié)果，這是一個(gè)小小的例子。

滴滴

滴滴也是我們一個(gè)很有意思的客戶(hù)，對(duì)滴滴來(lái)說(shuō)他需要的轉(zhuǎn)化率不一定是打車(chē)的人，他不需要很多打車(chē)的人，但是他需要很多很多接單的司機(jī)。他通過(guò)AB測(cè)試也可以提升司機(jī)的注冊(cè)率20%以上，通過(guò)嘗試不同的設(shè)計(jì)和文案，當(dāng)然，AB測(cè)試幫助他提升效果是一方面，真正提升了轉(zhuǎn)化率，但是另一方面，也可以通過(guò)這個(gè)試驗(yàn)更好的理解自己的用戶(hù)。

他最左邊這種招募司機(jī)的方案為什么轉(zhuǎn)化率不高呢，我們一分析，通過(guò)試驗(yàn)我們理解了，對(duì)比后面兩個(gè)方案，第一個(gè)方案他的設(shè)計(jì)不明確，就是他到底是招募車(chē)主還是招募打車(chē)的人，不知道?？赡苡泻芏嗾`點(diǎn)進(jìn)來(lái)的人，他可能以為是招打車(chē)的人。

那么中間這個(gè)版本就會(huì)好很多，“每天跑一單，油錢(qián)輕松賺”，鼓勵(lì)你來(lái)做滴滴的司機(jī)，賺錢(qián)。但是也不是那么完美，因?yàn)榭赡芎芏嘤信d趣的人點(diǎn)進(jìn)來(lái)發(fā)現(xiàn)我要上傳行駛證，上傳駕駛，覺(jué)得我當(dāng)這個(gè)司機(jī)好麻煩，沒(méi)有形成最終的轉(zhuǎn)化。

那么最后一個(gè)為什么效果是最好的呢，因?yàn)檐?chē)主招募這個(gè)事情很明確，這個(gè)產(chǎn)品，這個(gè)設(shè)計(jì)就是讓大家知道就是招司機(jī)的。你可以來(lái)做滴滴的車(chē)主，可以來(lái)賺錢(qián)，這些人目的很明確，他來(lái)了轉(zhuǎn)化率救會(huì)比較高。所以你就會(huì)看到一個(gè)很有意思的現(xiàn)象就是做了AB測(cè)試產(chǎn)生了效果并且獲得了經(jīng)驗(yàn)，這個(gè)對(duì)我們產(chǎn)品經(jīng)理還是更重要的一件事情。

樂(lè)動(dòng)力

最后一個(gè)案例是我們的樂(lè)動(dòng)力，這個(gè)案例就是他鼓勵(lì)他的用戶(hù)去下載這個(gè)跑步的app，那么這種方式，為了統(tǒng)計(jì)學(xué)，AB測(cè)試更加準(zhǔn)確，它會(huì)考慮看這個(gè)時(shí)間，這個(gè)過(guò)去兩周發(fā)生的時(shí)間，紅色的方案一直都比其他的更好，他就知道了這個(gè)設(shè)計(jì)是更好的。

以下是小伙伴們現(xiàn)場(chǎng)提問(wèn)的一些問(wèn)題：

問(wèn)：優(yōu)化之中的置信區(qū)間是什么意思？

答：置信區(qū)間是一個(gè)很重要的概念，他是和AB測(cè)試緊密相關(guān)的，是用一種統(tǒng)計(jì)學(xué)的方法，來(lái)分析實(shí)驗(yàn)組和對(duì)照組連個(gè)隨機(jī)過(guò)程的采樣的數(shù)據(jù)。他們通過(guò)對(duì)比他的采樣數(shù)據(jù)，對(duì)這兩個(gè)隨機(jī)模型的參數(shù)進(jìn)行一個(gè)統(tǒng)計(jì)學(xué)意義上的對(duì)比，然后最后形成一個(gè)一定置信度的變化區(qū)間。

其實(shí)如果你不是AB測(cè)試，而是直接上線一個(gè)東西，再下線一個(gè)東西，根據(jù)數(shù)據(jù)來(lái)分析，也會(huì)有置信區(qū)間的問(wèn)題，但是一般那種置信區(qū)間會(huì)很寬很寬，意思就是你基本上不知道結(jié)論是什么。那么一個(gè)AB測(cè)試的置信區(qū)間，他往往是這樣一個(gè)概念，就好像剛才我們ppt里舉的例子，就是說(shuō)對(duì)照實(shí)驗(yàn)組使得你某一個(gè)指標(biāo)的轉(zhuǎn)化率提升了15%，然后他的95%置信區(qū)間是從10%到20%，就是說(shuō)你把這個(gè)實(shí)驗(yàn)組版本方案迭代，把這個(gè)方案發(fā)布給所有的用戶(hù)，那么你有至少95%的概率可以提升10%以上，而且有比較大的概率可能是最終提升了15%，也有一定小概率會(huì)提升20%。這就是置信區(qū)間的概念。

當(dāng)然你也有5%的概率這個(gè)變化不在提升的這個(gè)區(qū)間之內(nèi)，也是有可能的。在工業(yè)上，我們一般都會(huì)有95%置信區(qū)間。舉個(gè)例子，如果你看到你的實(shí)驗(yàn)結(jié)果置信區(qū)間是從-3%到+3%，那么很可能發(fā)生了什么呢，你的這個(gè)實(shí)驗(yàn)版本既不能給你帶來(lái)增長(zhǎng)，也不能帶來(lái)下降。如果你是3%到6%，那么你可以基本確定這是一個(gè)好的優(yōu)化方案。他能帶來(lái)增長(zhǎng)，如果他是-5%到-2%，那么這個(gè)方案千萬(wàn)別上線，他會(huì)帶來(lái)負(fù)增長(zhǎng)。

問(wèn)：AB測(cè)試一般要測(cè)試多少天，積攢多少樣本才能得出結(jié)果？

答：積攢多少樣本才能得出結(jié)論這件事情和置信區(qū)間也是相關(guān)的，置信區(qū)間要足夠窄才能說(shuō)你得出了一個(gè)比較好的結(jié)論。積攢樣本這件事情取決于幾個(gè)方面，一個(gè)是試驗(yàn)流量本身，一個(gè)是轉(zhuǎn)化率本身，比如說(shuō)你的轉(zhuǎn)化率非常的低，你只有百分之零點(diǎn)零幾的轉(zhuǎn)化率，那么你可能需要非常非常多的樣本才能夠做出有效的測(cè)試。

但是如果你的轉(zhuǎn)化率是50%，那么可能你有1000個(gè)樣本你就夠了，跑一個(gè)小時(shí)就夠了，但是AB測(cè)試測(cè)試要持續(xù)多少天這件事情我要提一下，AB測(cè)試一般要持續(xù)7天，或者14天，這是是因?yàn)锳B測(cè)試是只改變一個(gè)條件的單盲測(cè)試，就是你只改變一個(gè)條件，你的實(shí)驗(yàn)本身其他都不變，你當(dāng)然希望整個(gè)試驗(yàn)時(shí)間覆蓋用戶(hù)的周中的行為和周末的行為，他星期一到星期五的行為可能和星期六星期天不一樣，所以7天是一個(gè)比較理想的時(shí)間。

當(dāng)然如果你想更確信，最好跑14天，如果你的流量比較少的話，你可能要跑更長(zhǎng)的天數(shù)。然后你怎么得出結(jié)論，你就等這個(gè)置信區(qū)間收窄，窄到一定程度你就可以說(shuō)ok，好了，可以上線了，或是可以下線了。

問(wèn)：Facebook是如何做Ab測(cè)試的？

答：Facebook在發(fā)布新App的時(shí)候，會(huì)對(duì)未來(lái)幾個(gè)月想做的做AB測(cè)試，那么是怎么做的呢，F(xiàn)acebook做了一套系統(tǒng)，gatekeeper和airlock，他是大概花了2年時(shí)間，40個(gè)工程師，借鑒了google的一些想法，又解決了移動(dòng)端的一些問(wèn)題。有了這樣一套系統(tǒng)之后呢，他的產(chǎn)品上線的流程也深入的集成了AB測(cè)試，他在需求評(píng)審階段就會(huì)產(chǎn)生各種各樣的想法，各種各樣可能的功能，各種各樣的變化，然后交付實(shí)施，這些實(shí)施都是通過(guò)gatekeeper的方式上線的。也就是灰度的發(fā)布給用戶(hù)，然后再用airlock的方式放流量進(jìn)來(lái)，讓一部分用戶(hù)去嘗試新的功能，只有那些好的功能才會(huì)保留下來(lái)，在下一次app改版的時(shí)候會(huì)正式的全面的發(fā)布給所有的用戶(hù)。

而那些不好的功能可能就關(guān)閉， 不上線，然后再下一次迭代的時(shí)候除了會(huì)把上一次成功的版本全部發(fā)給新用戶(hù)，還會(huì)添加一些新的實(shí)驗(yàn)進(jìn)去。所以他每次迭代都是把新的實(shí)驗(yàn)發(fā)布出去，然后不成功的實(shí)驗(yàn)打回去重做，然后再加一些新的實(shí)驗(yàn)進(jìn)去，這就是他每次迭代的流程。

問(wèn)：Web產(chǎn)品頁(yè)面優(yōu)化可以用AB測(cè)試么？

答：當(dāng)然可以，google天天在做，很過(guò)國(guó)內(nèi)的公司也在做了，比如說(shuō)攜程也在做，

問(wèn)：AB測(cè)試接入SDK是如何展開(kāi)的？流量來(lái)源如何選擇？

答：對(duì)于AB測(cè)試比較陌生的產(chǎn)品經(jīng)理來(lái)說(shuō)可能會(huì)比較糊涂，那么其實(shí)你接入了SDK，無(wú)論app還是網(wǎng)站，你接下來(lái)的事情就很簡(jiǎn)單，比如說(shuō)你的一個(gè)新想法要上線了。你可以通過(guò)我們這個(gè)SDK可視化編輯，改文案，或者你的工程師可以把這個(gè)功能通過(guò)我們的SDK灰度的集成到上面，同樣還是一個(gè)包或者一個(gè)網(wǎng)站，但是不是所有用戶(hù)都會(huì)看到他，你想讓多少用戶(hù)看到他。

問(wèn)：AB測(cè)試在生產(chǎn)環(huán)節(jié)是加白名單的方式還是直接測(cè)試環(huán)境上測(cè)試的。就是拿一部分用戶(hù)試試看，然后再上線？

答：不是這樣的，你說(shuō)的這個(gè)呢是QA的模式，還是一種傳統(tǒng)的方法，那么這種QA的方法就和傳統(tǒng)企業(yè)一樣，像微軟一樣，他先做Xbox原型，然后再讓一些微軟的同事或者測(cè)試用戶(hù)試用，試用玩家覺(jué)得好，然后他再大規(guī)模量產(chǎn)，但這種方式是比較落后的。真正的AB測(cè)試這樣一個(gè)強(qiáng)大的工具，它強(qiáng)大在哪呢？它強(qiáng)大到可以讓所有用戶(hù)來(lái)直接參與你的實(shí)驗(yàn)。比如說(shuō)你有100萬(wàn)用戶(hù)，你劃1%就有1萬(wàn)用戶(hù)會(huì)體驗(yàn)?zāi)氵@個(gè)新版，他們是精心篩選出來(lái)的，他們可以去嘗試這個(gè)新版，他們產(chǎn)生的AB測(cè)試數(shù)據(jù)是可信的。他提升了5%就是你最后發(fā)布了就可以提升你所有收入的5%。

如果他下降了10%，那么你就不要讓他上線，如果上線了，你可能有很大的概率帶點(diǎn)來(lái)10%的損失，這就是AB測(cè)試強(qiáng)大或者黑科技的點(diǎn)，就是為什么google 把他作為秘密武器，我們希望把這個(gè)秘密武器變成一個(gè)常規(guī)武器給大家用。就是他不是那種拿一部分用戶(hù)來(lái)試試看，然后再上線，這種方法是不行的， google也做過(guò)這樣的實(shí)驗(yàn)，google做過(guò)一個(gè)產(chǎn)品叫g(shù)oogle plus，社交產(chǎn)品，它給google所有的員工開(kāi)放，發(fā)現(xiàn)數(shù)據(jù)很好，活躍很好， 比Facebook強(qiáng)多了，然后他發(fā)布給所有用戶(hù)怎么樣了呢？他連注冊(cè)量都不夠更不用說(shuō)和Facebook比活躍度了。所以這就是AB測(cè)試的意義或者他強(qiáng)大的地方。

希望大家能夠不斷的實(shí)現(xiàn)自己產(chǎn)品的優(yōu)化，實(shí)現(xiàn)增長(zhǎng)。

本次分享PPT下載鏈接: http://pan.baidu.com/s/1nvrmv8l 密碼: r5hy

往期【起點(diǎn)學(xué)院公開(kāi)課】總結(jié)文章請(qǐng)往下看：

云家政CEO薛帥：叢林對(duì)決，透過(guò)云家政解讀O2O行業(yè)生存法則

前LinkedIn高級(jí)總監(jiān)張溪夢(mèng)：6個(gè)步驟，學(xué)會(huì)數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品的秘訣（附PPT及思維導(dǎo)圖下載）

8年運(yùn)營(yíng)實(shí)戰(zhàn)總結(jié)，串講運(yùn)營(yíng)知識(shí)體系的那些核心關(guān)鍵詞（附PPT及思維導(dǎo)圖下載）

前百度營(yíng)銷(xiāo)大咖三石：別只顧低頭做事，這些錯(cuò)誤的運(yùn)營(yíng)姿勢(shì)，常犯你就shi啦

時(shí)代變了，設(shè)計(jì)變了，我們的思維要如何才能跟上變化

15頁(yè)P(yáng)PT，3大核心思維助你突破運(yùn)營(yíng)瓶頸

5個(gè)步驟，3個(gè)定位：做好不輸杜蕾斯的社會(huì)化營(yíng)銷(xiāo)（附PPT下載）

整理：李任培，人人都是產(chǎn)品經(jīng)理社群團(tuán)隊(duì)筆記小組成員，分享是最大的收獲，成長(zhǎng)比成功更重要

本文系人人都是產(chǎn)品經(jīng)理社群團(tuán)隊(duì)筆記小組@李任培 ?整理發(fā)布，未經(jīng)許可，不得轉(zhuǎn)載。