如何運(yùn)用 A/B 測(cè)試突破業(yè)務(wù)增長瓶頸?

4 評(píng)論 6638 瀏覽 70 收藏 11 分鐘

文章介紹了A/B 測(cè)試在產(chǎn)品改版過程中的落地過程,希望對(duì)你有所啟發(fā)。

獲客拉新在產(chǎn)品發(fā)展的中早期一直是市場(chǎng)和運(yùn)營日常工作中非常重要的工作之一,活動(dòng)落地頁的設(shè)計(jì)對(duì)于一款互聯(lián)網(wǎng)產(chǎn)品來說,重要性不言而喻,但落地頁如何設(shè)計(jì)和改版,不是仿照其他產(chǎn)品的樣式那樣簡單,由于每一個(gè)產(chǎn)品所處的行業(yè)、營銷活動(dòng)目的、公司資源各不相同,所以也就沒有一成不變的策略,我們需要分析活動(dòng)表象下面的數(shù)據(jù),通過數(shù)據(jù)來思考我們下次行動(dòng)的方向。

最近我們產(chǎn)品官網(wǎng)做了一次大改版,線索轉(zhuǎn)化率較之前提升2%,Demo 內(nèi)任意事件操作轉(zhuǎn)化率提升1.3%(登錄 Demo 使用產(chǎn)品是我們產(chǎn)品核心功能之一,只有新用戶注冊(cè)后登錄 Demo 體驗(yàn)了產(chǎn)品,才能讓用戶真正體驗(yàn)到我們產(chǎn)品的價(jià)值,即新用戶過來后我們一定要讓他們體驗(yàn)到產(chǎn)品的真正價(jià)值,這樣后續(xù)才能持續(xù)轉(zhuǎn)化)。

一、為什么要做改版?

線索增長率趨于平緩,穩(wěn)中有降,業(yè)務(wù)增長進(jìn)入瓶頸,觀察用戶行為數(shù)據(jù)發(fā)現(xiàn)了一些有趣的現(xiàn)象,也是我們現(xiàn)有版本的問題:

  • 從新用戶來源的關(guān)鍵詞來看,用戶更關(guān)心用戶行為分析、數(shù)據(jù)分析平臺(tái)、網(wǎng)站數(shù)據(jù)分析等
  • 從用戶點(diǎn)擊圖來看,用戶更想進(jìn)入 Demo 頁一探究竟,間接說明從落地頁未獲得自己想要的信息
  • 從用戶行為來看,用戶在注冊(cè)申請(qǐng)賬號(hào)體驗(yàn) Demo 時(shí)遇到了阻礙,有大量用戶流失
  • 從用戶路徑來看,用戶注冊(cè)成功后有一部分用戶找不到登錄入口,也就不能體驗(yàn)產(chǎn)品核心價(jià)值功能

二、改版的目標(biāo)是什么?

  • 新用戶來到落地頁后,能夠很方便的獲取足夠的信息,有申請(qǐng)賬號(hào)試用的沖動(dòng)
  • 每個(gè) Demo 的文案描述,直切用戶需求痛點(diǎn)
  • 梳理注冊(cè)賬號(hào)體系,優(yōu)化泄漏點(diǎn),提升注冊(cè)轉(zhuǎn)化率
  • 注冊(cè)成功后新手引導(dǎo)流程,可快速找到 Demo 登錄入口,減少反復(fù)和流失

三、A/B測(cè)試落地過程

設(shè)計(jì)用戶分流規(guī)則

將用戶訪問的匿名 ID 按照100取余,余數(shù)在0-49之間的用戶訪問 A 版本,余數(shù)在50-99之間的用戶訪問B版本,這樣能確保分流過程足夠隨機(jī)。B 版本為新版本,A版本為舊版本。

數(shù)據(jù)追蹤埋點(diǎn)

無追蹤就不能復(fù)盤分析,所以需要對(duì)產(chǎn)品埋好點(diǎn),為所有埋點(diǎn)數(shù)據(jù)增加一個(gè)屬性參數(shù)比如app_version,用于追蹤不同版本的表現(xiàn)。

梳理賬號(hào)體系

將核心關(guān)鍵步驟每一步驟都埋好點(diǎn),便于分析轉(zhuǎn)化和流失點(diǎn)。

四、效果評(píng)估

最終確定的A、B兩個(gè)版本對(duì)比圖(限于篇幅只截了頭圖)

不同版本的宏觀表現(xiàn):跳出率、平均停留時(shí)長、平均訪問深度

顯然B版本的跳出率要低于 A 版本的跳出率,說明用戶對(duì) B 版本的第一印象不錯(cuò)。但是 B 版本的平均停留時(shí)長和平均訪問深度略低于 A 版本,那 B 版本到底表現(xiàn)是好還是不好?關(guān)于這個(gè)問題,對(duì)不同產(chǎn)品而言,有的產(chǎn)品并不是平均停留時(shí)長和平均訪問深度越高就越好的,如果他在較短的時(shí)間內(nèi)和瀏覽了較少的頁面就去注冊(cè)了,恰恰說明他在短時(shí)間內(nèi)快速獲得了自己所需要的信息,并急于申請(qǐng)?jiān)囉谩?/p>

不同版本的目標(biāo)實(shí)現(xiàn):線索轉(zhuǎn)化率和 Demo 登錄轉(zhuǎn)化率

關(guān)于線索轉(zhuǎn)化率的衡量可謂是一波三折,有驚有喜。

第一波,線索轉(zhuǎn)化率和 Demo 登錄轉(zhuǎn)化率 B 版本均高于 A 版本。

從瀏覽首頁到點(diǎn)擊申請(qǐng)?jiān)囉冒粹o的轉(zhuǎn)化率提升了2%,成功申請(qǐng)后到登錄 Demo 體驗(yàn) Demo 的轉(zhuǎn)化率提升了1.3%,皆大歡喜!

一個(gè)星期后,戲劇性的事情翻轉(zhuǎn)了…

第二波,Demo 登錄轉(zhuǎn)化率 B 版本低于 A 版本11%

任何事情還真不能高興的太早,一個(gè)星期后,老板問,B 版本的表現(xiàn)居然低于A版本11個(gè)百分點(diǎn),你們看看這到底怎么回事?所有參與新官網(wǎng)設(shè)計(jì)的人都很焦慮,難道辛辛苦苦設(shè)計(jì)的新版本比老版本差這么多?

開始追本溯源,注冊(cè)轉(zhuǎn)化率 B 版本高于 A 版本,但是 Demo 登錄轉(zhuǎn)化率反降低了,所以問題出在從瀏覽體驗(yàn) Demo 頁到 demo 登錄頁這個(gè)部分。

于是又測(cè)試了一遍從注冊(cè)到登錄 Demo 的流程:

發(fā)現(xiàn)從新官網(wǎng)完成注冊(cè)之后,跳轉(zhuǎn)到 Demo 體驗(yàn)頁面居然是舊官網(wǎng)的體驗(yàn) Demo 頁面,會(huì)給用戶帶來錯(cuò)覺,這還是我最開始訪問的那個(gè)網(wǎng)站嗎?最后緊急替換成新的體驗(yàn) Demo 頁面。

第三波,從瀏覽 Demo 頁到 Demo 登錄轉(zhuǎn)化率提升后,1個(gè)多星期后再次下降了

這次數(shù)據(jù)的下降,其實(shí)老板并沒有發(fā)現(xiàn),所以要趕在老板發(fā)現(xiàn)前,先把問題找出來,汗顏…

各種假設(shè)找原因中,會(huì)不會(huì)是在 Demo 頁,新版本點(diǎn)擊登錄的比例小于舊版本?于是把成功提交申請(qǐng)后到 Demo 登錄的過程再次細(xì)化,在瀏覽 Demo 頁到 Demo 登錄之間增加一步“點(diǎn)擊登錄按鈕”,看看問題是不是出在這里?

很失望,新版本從瀏覽Demo頁到點(diǎn)擊登錄的比例大于舊版本,所以問題應(yīng)該不是出在 Demo 頁上,繼續(xù)假設(shè)排查中…

這些瀏覽 Demo 頁后沒有成功登錄 Demo 的這些流失的人都干什么去了?此時(shí)我們可以借助用戶分群,給這些流失的人打個(gè)標(biāo)簽,看看這批流失的人整體的訪問路徑是什么?

從中可以看出,新用戶從 Demo 頁跳轉(zhuǎn)到登錄頁后,有一定的用戶分流,有相當(dāng)大比例的用戶重新來到了首頁,重新進(jìn)行申請(qǐng)?jiān)囉?,也就是說存在同一個(gè)用戶申請(qǐng)多次的現(xiàn)象,所以又查看了人均申請(qǐng)次數(shù)這個(gè)指標(biāo),確實(shí)存在人均申請(qǐng)多次的情況,申請(qǐng)間隔還恰好是1分鐘。

很奇怪,他們不是成功申請(qǐng)了嗎,為什么還要再申請(qǐng)?

從用戶登錄 Demo 的界面來看,猜想,很有可能在以下兩個(gè)地方出問題:

  1. 這一段時(shí)間有可能短信系統(tǒng)出問題,導(dǎo)致發(fā)送賬號(hào)存在一定的延遲,用戶收不到賬號(hào)密碼,以為出問題了,就重新點(diǎn)擊了“還沒賬號(hào),申請(qǐng)?jiān)囉谩?,所以也就不奇怪為什么?huì)有人重新來到首頁,重新申請(qǐng)了。
  2. 密碼輸入錯(cuò)誤,但是又不支持找回密碼,只能重新申請(qǐng)。從數(shù)據(jù)中我們也驗(yàn)證了該假設(shè),確實(shí)存在同一個(gè)用戶密碼輸入錯(cuò)誤多次的現(xiàn)象。

五、下一步產(chǎn)品優(yōu)化方向

從數(shù)據(jù)分析中,我們也獲得了下一步產(chǎn)品優(yōu)化的方向:

  1. 進(jìn)一步完善賬號(hào)體系,忘記密碼后產(chǎn)品處理流程
  2. 盡量保證短信系統(tǒng)的穩(wěn)定性,保證用戶在1分鐘內(nèi)成功收到用戶名密碼
  3. 同一個(gè)手機(jī)號(hào)時(shí)候允許申請(qǐng)多次,如果不能申請(qǐng)多次,產(chǎn)品的處理流程是什么

更多優(yōu)化點(diǎn),還在路上~~~

 

作者:李金霞,神策數(shù)據(jù)分析師,先后服務(wù)的客戶包含紛享銷客、拉鉤云人事、網(wǎng)易七魚、ofo、多盟、更美等公司,致力于通過數(shù)據(jù)分析實(shí)現(xiàn)產(chǎn)品優(yōu)化和精細(xì)化運(yùn)營。

本文由 @李金霞 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自PEXELS,基于CCO協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 寫的真好,能加你微信好友或者關(guān)注你公眾號(hào)可以嗎

    來自四川 回復(fù)
  2. 實(shí)戰(zhàn)貼,很值得學(xué)習(xí)!

    來自陜西 回復(fù)
  3. 每篇都是干貨

    回復(fù)
  4. 說的不錯(cuò)

    回復(fù)