增長實驗復盤:如何提升164%的同比營收?
本文作者用自己的親身經歷,通過一個項目增長實驗復盤,從兩個角度分析如何提高營收,推薦給對增長感興趣的童鞋閱讀。
本文內容共分兩部分:
1)作為一個對增長黑客異常感興趣的創(chuàng)業(yè)公司純產品經理,系統(tǒng)學習了增長的理論知識后,創(chuàng)造條件在工作當中用增長的方式做了一些實驗,通過實踐驗證了增長方法的有效性。作為“學習-實踐-總結”的最后一環(huán),通過本文詳細復盤一個簡單的增長實驗的過程與結果,供想進行增長實驗的小伙伴參考借鑒。
2)距離上一篇文章相隔半年,通過本文對增長黑客領域的一些新收獲及思考進行固化。希望能通過本文拋磚引玉,多多和對增長感興趣的小伙伴們交流!
一、增長實驗復盤
任何工作都需要一個核心的產出物,產品經理的核心產出物是PRD,活動運營是活動方案,媒介是投放排期計劃,增長黑客雖然是較新的崗位,但一樣也需要一份核心的產出物,那就是增長實驗報告。話不多說,直接上報告:
1. 實驗背景
上圖是曲卉老師的增長全景圖
下文會借助這張增長全景圖對實驗的過程進行詳細的復盤。
關于如何搭建增長實驗?什么是北極星?增長全局的具體分析方法等增長理論知識并非本文重點,對增長基礎概念還不是很清楚的小伙伴們可以先查閱相關資料了解一下。
人人都在說的增長黑客,到底是個什么鬼?
增長黑客的四季裝扮——常見“打法”與“工具”。
1)增長全局分析&北極星指標
由于公司的產品是為創(chuàng)投人群服務的,所以在分析產品增長策略之前需要對行業(yè)的概況有所了解。
通過上圖可以看出自15年出現(xiàn)退出數量的波峰之后,最近4年的退出數量逐年下降。
以終為始,退出數量大幅下降,創(chuàng)投行業(yè)的景氣度近些年也比較低迷。尤其互聯(lián)網行業(yè)的感知會很明顯。通常在【存量】市場下,增長的策略為【收入】、【留存】。
上圖是我所負責的公司移動端產品的活躍情況,可以看到也是處于下降趨勢的。
【成熟期-衰退期】過渡的產品,【留存】&【收入】是最后的抓手,盡力留住用戶多創(chuàng)造價值,將用戶和收入補貼到公司的第二曲線產品上是沒有辦法的辦法。關于第二曲線本文的第二部分會展開。
通過行業(yè)和產品生命周期的分析已經可以明確增長的重點【收入】、【留存】,和老板溝通后確認的19年Q4目標也是“留存不下降的基礎上,增加營收”(當然哪個是重中之重,大家都懂)。
因此,基于行業(yè)、公司所處的大背景,北極星指標為GMV。
2. 實驗假設
1)增長模型&聚焦領域
確定了北極星指標之后,增長模型的搭建并不困難,框架搭好之后逐步拆解即可,而且往往很多時候環(huán)境并不會提供拆解的機會。
通過上圖結合當時的背景環(huán)境逐一分析:
【客單價】這個可以直接排除,創(chuàng)投行業(yè)整體下行,沒有創(chuàng)造新價值的情況下不可能提升客單價。
【活躍用戶量】在雙十一前夕的時間節(jié)點,結合公司環(huán)境。
新用戶外拉新要預算,內拉新運營同事在準備活動,開發(fā)新功能周期太長【新用戶可以放棄】。
喚醒回流用戶、減少流失用戶同樣至少需要不小的時間成本。
步步推演,剩下的【聚焦領域】就只有【付費轉化率】一個選項了。
實驗想法實驗想法的產生同樣是一個步步遞進,逐步剝洋蔥的過程,并且分享曲卉老師的一句話“從數據中尋找洞察,是產生高質量的實驗想法的關鍵”。
1.聚焦具體的收入來源。由于我們的產品中有90%的收入都來源于會員增值服務,所以這部分很容易聚焦。如果收入構成比較復雜的話,還是需要進一步做減法,再次聚焦。
2.以終為始,梳理用戶付費之前的核心路徑。
上圖僅做示意,這部分就是苦逼活,一步一步將用戶的使用流程梳理清晰,需要的只是認真的態(tài)度。
3.建立漏斗數據
對于傳統(tǒng)行業(yè)收集各個環(huán)節(jié)的數據可能有一定的難度,互聯(lián)網產品做簡單的漏斗同樣是態(tài)度問題,百度統(tǒng)計有免費的無埋點統(tǒng)計,友盟免費版也可以提前埋點(當然還有認知的問題,這個在文章第二部分我也會分享一部分的思考)。
4.找漏斗中明顯的“黑洞”,加以修補。因為往往明顯的轉化黑洞填補起來的難度并不高,屬于低垂的果實。
5.分析原因。這個過程中我一點小小的經驗是善用熱力圖,熱力圖能最為直觀地反映出用戶的行為,通過用戶行為數據歸因用戶需求能提高成功的概率。
6.總結實驗想法。層層遞進,通過上圖可以直觀的看出進入【會員訂單頁】的用戶大量的點擊行為分布在“查看特權”和“購買咨詢”,由此實驗想法“如果能將會員的權益展現(xiàn)得更加清晰是不是就能提升用戶的下單轉化率呢?”
ps:這個實驗想法的產生過程屬于【漏斗型增長】。
漏斗型屬于最為基礎的一類增長類型,但我個人覺得增長同樣符合“二八法則”,工作中絕大部分的增長實驗應該也都是屬于漏斗型的。與此同時漏斗型也是非增長崗位從業(yè)者和大多數創(chuàng)業(yè)(?。┕究梢陨鲜值念愋?。雖然基礎但確實是重要的類型。
3. 實驗假設&打分
實驗設計這部分更多屬于產品的范疇了,就不展開具體的設計過程了,只提一個點,多看競品!
競品之間對比一下高下立判,后續(xù)的產品設計就不展開了。
實驗打分增長領域給實驗打分的模型主要是“ICE”模型,打分的目的也是為了對增長實驗的優(yōu)先級進行排序。產品領域常用的排序模型為“KANO”,實際的工作中如果是非增長崗位的小伙伴們,我的經驗是完全不用在這個環(huán)節(jié)上糾結。因為一方面不同的模型雖有差異,但是最終的目的都是對任務進行優(yōu)先級排序。另一方面,實際的工作環(huán)境中,也很難有排期去做單獨的增長實驗。
4. 實驗結果&總結
首先,是【訂單轉化率】有了明顯的提升。
其次,是營收有了顯著的提升。
通過上圖可以看出在19年的11月Android端的收入有了明顯的大幅提升。
這個也是標題當中的數據來源。承認這篇文章有重大的標題黨嫌疑,小伙伴們還是多注重整個增長方式的過程哈。另外,此次改版之后,老板就基本不參加我的評審會了,所以效果還是很明顯滴。
最后,有一個點需要鄭重地說明一下!
本文中的增長實驗結果雖然是有效果的,但就實驗本身而言并不嚴謹。
比如,針對本實驗環(huán)比的對比中,一年的周期內有大量的功能迭代,不能確定說是優(yōu)化了【會員頁】一個因素帶來了【轉化率】的提升。
同樣,雖然對比了新老活動非雙十一期間的數據,但不可避免的在版本遷移過程中導致用戶人群不完全隨機帶來的差異。
嚴謹的增長實驗需要ABtest,實驗組和對照組之間只能有唯一變量,并且實驗之前的樣本數量,之后的效果校驗都是需要計算并符合統(tǒng)計顯著性的,統(tǒng)計測算這部分有三方的工具。
這里我想先表明觀點,對增長的實驗結果一定要非常嚴謹,對統(tǒng)計學要有敬畏之心。但與此同時,ABtest系統(tǒng)作為增長的基礎設施,不論是自建還是采用第三方都有不算小的搭建成本的。
即便現(xiàn)在,建立了ABtest環(huán)境的互聯(lián)網公司也絕對是少數。而且即便有了ABtest環(huán)境,很多情況下也是無法通過ABtest進行試驗的。
我個人的觀點不論對個人還是創(chuàng)業(yè)公司而言,增長的方法論還是有非常非常有必要的,這個矛盾其實是普遍存在的。
【因果推斷法】、【雙重差分析方法】、【邊際效果歸因】的三種方法都能在沒有ABtest環(huán)境下得出確定性的結論。
至此,增長實驗的復盤就結束了,對于實驗的效果和對增長方法的實踐我還是比較滿意的。通過實踐堅定了自己今后在增長方面繼續(xù)學習的信念。但就增長實驗而言,還是不夠嚴謹的,厚著臉分享本文也希望能和小伙伴多多交流!
二、增長新收獲&思考
總結完實驗,感覺給自己挖的坑有點大,所以決定慢慢填了。
先把主要的點埋在這里:
- 產品的核心是創(chuàng)造價值,增長則是讓用戶發(fā)現(xiàn)價值(把50%的精力放在產品開發(fā)上,另外50%的用在新用戶激活上-肖恩·埃利斯)。
- 做用戶增長實際上實在用測試的冗余性來換取增長的確定性。楊瀚清老師這句話個人理解約定于華爾街名言“截斷損失,讓利潤奔跑”。
- 增長成功的秘訣不在于同時做很多事,而在于找到目前影響增長率的最關鍵的那一兩件事。換句話說,找到“做什么”和“怎么做”,比“做”本身要重要的多。出自曲卉老師的書。
本文由 @MR.魏氏 原創(chuàng)發(fā)布于人人都是產品經理,未經許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協(xié)議
卉老師 是誰?。?/p>
曲卉-《硅谷增長黑客實戰(zhàn)筆記》作者。