A/B測(cè)試:數(shù)據(jù)優(yōu)化產(chǎn)品迭代的必備良劑
產(chǎn)品設(shè)計(jì)產(chǎn)品優(yōu)化中的每一處改動(dòng)都應(yīng)該經(jīng)過數(shù)據(jù)精確的衡量。
在講數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品優(yōu)化前,我們先來回顧國(guó)內(nèi)互聯(lián)網(wǎng)的幾個(gè)階段。錢天白教授在1987年發(fā)出的第一封電子郵件,揭開了國(guó)內(nèi)互聯(lián)網(wǎng)發(fā)展的序幕。
互聯(lián)網(wǎng)在中國(guó)的發(fā)展歷程可以大略地劃分為三個(gè)階段:1986年6月到1993年3月的研究試驗(yàn)階段,1994年4月至1996年的起步階段,以及1997年至今的快速增長(zhǎng)階段,這一階段誕生了陳天橋、馬化騰、汪延等IT 大佬。
略過前兩個(gè)階段,我們來細(xì)看快速增長(zhǎng)階段。
在1997-2004年前后互聯(lián)網(wǎng)發(fā)展的早期,互聯(lián)網(wǎng)商業(yè)化主要是受概念驅(qū)動(dòng),出來一個(gè)全新的概念,似乎很快就能火,因?yàn)榭蛇x擇的產(chǎn)品不多,用戶群對(duì)互聯(lián)網(wǎng)也缺少認(rèn)知。
經(jīng)過了大約七八年的“浸淫”(原諒這里用了這么一個(gè)詞),2004年開始國(guó)內(nèi)互聯(lián)網(wǎng)逐漸變成了受產(chǎn)品驅(qū)動(dòng),這一階段一直持續(xù)了將近十年。互聯(lián)網(wǎng)迅速?gòu)乃{(lán)海變成紅海,要想從激烈的競(jìng)爭(zhēng)中脫穎而出,各種產(chǎn)品不得不重視用戶體驗(yàn),這期間“人人都是產(chǎn)品經(jīng)理”,“人人都想做產(chǎn)品經(jīng)理”。這一階段的發(fā)展不得不忽視的是中國(guó)的人口紅利和智能手機(jī)的普及。
2015年智能手機(jī)出貨量的飽和和國(guó)內(nèi)人力成本的增加,使得大多數(shù)的公司不得不思考產(chǎn)品優(yōu)化中的投資回報(bào)率,這一階段也就是數(shù)據(jù)驅(qū)動(dòng)精細(xì)化運(yùn)營(yíng)階段。這一階段有這么幾個(gè)特點(diǎn):
- 流量成本越來越高
- 想依靠人口紅利帶來用戶增長(zhǎng)越來越難
- 不得不思考怎么去做精細(xì)化運(yùn)營(yíng),讓花出去的每一分錢都帶來效果
在人口紅利不再,流量成本極其高昂,總體網(wǎng)民用戶數(shù)量一定的情況下,讓見到產(chǎn)品的用戶更多的留下來,帶來更大的轉(zhuǎn)化率,似乎是更應(yīng)該思考的問題。
在產(chǎn)品曝光給用戶之前,想一下怎么才能讓產(chǎn)品對(duì)用戶來說更有“眼緣”呢?
有“眼緣”之后怎么才能“要到電話”?
有了電話又怎么才能跟用戶有更大的“約會(huì)”機(jī)會(huì)?進(jìn)一步的發(fā)展呢?
產(chǎn)品運(yùn)營(yíng)漏斗的每一步,都存在優(yōu)化的空間,在有限的投入下獲取更大的優(yōu)化率,是數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品運(yùn)營(yíng)要做的事,此謂產(chǎn)品運(yùn)營(yíng)之道。
道是戰(zhàn)略,不應(yīng)該懶惰,術(shù)是執(zhí)行,更要勤勉。 A/B 測(cè)試就是數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品運(yùn)營(yíng)中的術(shù)。
一般場(chǎng)合出門前,我們會(huì)對(duì)比幾套衣服,到底穿格子衫好還是穿 polo 衫,或者極客范的你會(huì)穿大 T-shirt 。這個(gè)過程其實(shí)就是一次簡(jiǎn)單的 A/B 測(cè)試,包含了A/B 測(cè)試的核心思想:
- 多個(gè)方案并行測(cè)試(對(duì)比了幾套衣服);
- 每個(gè)方案只有一個(gè)變量不同(只對(duì)比了上衣);
- 以某種規(guī)則優(yōu)勝劣汰(最終穿了最符合你形象氣質(zhì)的衣服)。
A/B測(cè)試是指在所有條件都相等的條件下,只改變一個(gè)條件,從 A 改成 B ,然后對(duì)比兩者產(chǎn)生的效果的不同。單一變量決定了 A/B 測(cè)試的科學(xué)性。
對(duì)應(yīng)到技術(shù)產(chǎn)品里, A/B 測(cè)試的方法就是將產(chǎn)品的用戶流量分割成 A/B 兩組,一組試驗(yàn)組,一組對(duì)照組,兩組用戶特點(diǎn)類似,并且同時(shí)運(yùn)行。試驗(yàn)運(yùn)行一段時(shí)間后分別統(tǒng)計(jì)兩組用戶的表現(xiàn),再將數(shù)據(jù)結(jié)果進(jìn)行對(duì)比,就可以科學(xué)的幫助決策。
單純的講 A/B 測(cè)試是如何的科學(xué),對(duì)于運(yùn)營(yíng)與產(chǎn)品增長(zhǎng)是多么有效看起來好蒼白,那么我們通過更多的案例來講。
- ?Google 每個(gè)月從上百個(gè) A/B 測(cè)試中找到十幾個(gè)有效方案,月營(yíng)收提升2%左右,10億美元的規(guī)模
- 廣告位左移一個(gè)像素帶來 X %的營(yíng)收,左移兩個(gè)像素帶來 Y %的虧損? 任何產(chǎn)品的優(yōu)化、改動(dòng)都需要AB測(cè)試才能上線
- facebook 6個(gè)月內(nèi)所有產(chǎn)品全部線上灰度發(fā)布,通過不斷進(jìn)行用戶的流量分割的方式進(jìn)行試驗(yàn),獲得無 BUG 口碑
滴滴出行在滴滴司機(jī)招募的著陸頁(yè)上,通過嘗試不同的設(shè)計(jì)和文案,使得注冊(cè)率提升了20%以上。
需要注意的是,不是每一次 A/B 測(cè)試驗(yàn)證過的改動(dòng)都會(huì)帶來增長(zhǎng),但 A/B 測(cè)試確確實(shí)實(shí)能幫你排除掉了不好的策略。通過 A/B 測(cè)試驗(yàn)證好的改動(dòng)才通過上線,這就保證了產(chǎn)品迭代中的小步快跑里總是在對(duì)產(chǎn)品做優(yōu)化和提升。
“從現(xiàn)在開始的10年內(nèi),當(dāng)我們回顧大數(shù)據(jù)時(shí)代是如何發(fā)展時(shí),我們會(huì)震驚于以往做出決策時(shí)信息的匱乏。”
做對(duì)的事情,做 ROI 最高的事情,在避免犯錯(cuò)的情況下最大化優(yōu)化產(chǎn)品運(yùn)營(yíng)漏斗,你需要在產(chǎn)品體系里引入 A/B 測(cè)試,拍腦袋的決策已經(jīng)失效,產(chǎn)品優(yōu)化中的每一處改動(dòng)都應(yīng)該經(jīng)過數(shù)據(jù)精確的衡量,畢竟:“ If you can’t measure it, you don’t know how to make it better ! ”
來源:http://www.36dsj.com/archives/60383
本文來源于人人都是產(chǎn)品經(jīng)理合作媒體@36大數(shù)據(jù)
測(cè)試用例
滴滴這個(gè)也是灰度的嗎 還是迭代上去的
滴滴是先小流量A/B測(cè)試,最后全量上。
滴滴的這個(gè)不算是ab測(cè)試吧