文章介紹了A/B 測(cè)試在產(chǎn)品改版過程中的落地過程，希望對(duì)你有所啟發(fā)。

獲客拉新在產(chǎn)品發(fā)展的中早期一直是市場(chǎng)和運(yùn)營日常工作中非常重要的工作之一，活動(dòng)落地頁的設(shè)計(jì)對(duì)于一款互聯(lián)網(wǎng)產(chǎn)品來說，重要性不言而喻，但落地頁如何設(shè)計(jì)和改版，不是仿照其他產(chǎn)品的樣式那樣簡單，由于每一個(gè)產(chǎn)品所處的行業(yè)、營銷活動(dòng)目的、公司資源各不相同，所以也就沒有一成不變的策略，我們需要分析活動(dòng)表象下面的數(shù)據(jù)，通過數(shù)據(jù)來思考我們下次行動(dòng)的方向。

最近我們產(chǎn)品官網(wǎng)做了一次大改版，線索轉(zhuǎn)化率較之前提升2%，Demo 內(nèi)任意事件操作轉(zhuǎn)化率提升1.3%（登錄 Demo 使用產(chǎn)品是我們產(chǎn)品核心功能之一，只有新用戶注冊(cè)后登錄 Demo 體驗(yàn)了產(chǎn)品，才能讓用戶真正體驗(yàn)到我們產(chǎn)品的價(jià)值，即新用戶過來后我們一定要讓他們體驗(yàn)到產(chǎn)品的真正價(jià)值，這樣后續(xù)才能持續(xù)轉(zhuǎn)化）。

一、為什么要做改版？

線索增長率趨于平緩，穩(wěn)中有降，業(yè)務(wù)增長進(jìn)入瓶頸，觀察用戶行為數(shù)據(jù)發(fā)現(xiàn)了一些有趣的現(xiàn)象，也是我們現(xiàn)有版本的問題：

• 從新用戶來源的關(guān)鍵詞來看，用戶更關(guān)心用戶行為分析、數(shù)據(jù)分析平臺(tái)、網(wǎng)站數(shù)據(jù)分析等
• 從用戶點(diǎn)擊圖來看，用戶更想進(jìn)入 Demo 頁一探究竟，間接說明從落地頁未獲得自己想要的信息
• 從用戶行為來看，用戶在注冊(cè)申請(qǐng)賬號(hào)體驗(yàn) Demo 時(shí)遇到了阻礙，有大量用戶流失
• 從用戶路徑來看，用戶注冊(cè)成功后有一部分用戶找不到登錄入口，也就不能體驗(yàn)產(chǎn)品核心價(jià)值功能

二、改版的目標(biāo)是什么？

• 新用戶來到落地頁后，能夠很方便的獲取足夠的信息，有申請(qǐng)賬號(hào)試用的沖動(dòng)
• 每個(gè) Demo 的文案描述，直切用戶需求痛點(diǎn)
• 梳理注冊(cè)賬號(hào)體系，優(yōu)化泄漏點(diǎn)，提升注冊(cè)轉(zhuǎn)化率
• 注冊(cè)成功后新手引導(dǎo)流程，可快速找到 Demo 登錄入口，減少反復(fù)和流失

三、A/B測(cè)試落地過程

設(shè)計(jì)用戶分流規(guī)則

將用戶訪問的匿名 ID 按照100取余，余數(shù)在0-49之間的用戶訪問 A 版本，余數(shù)在50-99之間的用戶訪問Ｂ版本，這樣能確保分流過程足夠隨機(jī)。B 版本為新版本，A版本為舊版本。

數(shù)據(jù)追蹤埋點(diǎn)

無追蹤就不能復(fù)盤分析，所以需要對(duì)產(chǎn)品埋好點(diǎn)，為所有埋點(diǎn)數(shù)據(jù)增加一個(gè)屬性參數(shù)比如app_version，用于追蹤不同版本的表現(xiàn)。

梳理賬號(hào)體系

將核心關(guān)鍵步驟每一步驟都埋好點(diǎn)，便于分析轉(zhuǎn)化和流失點(diǎn)。

四、效果評(píng)估

最終確定的A、B兩個(gè)版本對(duì)比圖（限于篇幅只截了頭圖）

不同版本的宏觀表現(xiàn)：跳出率、平均停留時(shí)長、平均訪問深度

顯然B版本的跳出率要低于 A 版本的跳出率，說明用戶對(duì) B 版本的第一印象不錯(cuò)。但是 B 版本的平均停留時(shí)長和平均訪問深度略低于 A 版本，那 B 版本到底表現(xiàn)是好還是不好？關(guān)于這個(gè)問題，對(duì)不同產(chǎn)品而言，有的產(chǎn)品并不是平均停留時(shí)長和平均訪問深度越高就越好的，如果他在較短的時(shí)間內(nèi)和瀏覽了較少的頁面就去注冊(cè)了，恰恰說明他在短時(shí)間內(nèi)快速獲得了自己所需要的信息，并急于申請(qǐng)?jiān)囉谩?/p>

不同版本的目標(biāo)實(shí)現(xiàn)：線索轉(zhuǎn)化率和 Demo 登錄轉(zhuǎn)化率

關(guān)于線索轉(zhuǎn)化率的衡量可謂是一波三折，有驚有喜。

第一波，線索轉(zhuǎn)化率和 Demo 登錄轉(zhuǎn)化率 B 版本均高于 A 版本。

從瀏覽首頁到點(diǎn)擊申請(qǐng)?jiān)囉冒粹o的轉(zhuǎn)化率提升了2%，成功申請(qǐng)后到登錄 Demo 體驗(yàn) Demo 的轉(zhuǎn)化率提升了1.3%，皆大歡喜！

一個(gè)星期后，戲劇性的事情翻轉(zhuǎn)了…

第二波，Demo 登錄轉(zhuǎn)化率 B 版本低于 A 版本11%

任何事情還真不能高興的太早，一個(gè)星期后，老板問，B 版本的表現(xiàn)居然低于A版本11個(gè)百分點(diǎn)，你們看看這到底怎么回事？所有參與新官網(wǎng)設(shè)計(jì)的人都很焦慮，難道辛辛苦苦設(shè)計(jì)的新版本比老版本差這么多？

開始追本溯源，注冊(cè)轉(zhuǎn)化率 B 版本高于 A 版本，但是 Demo 登錄轉(zhuǎn)化率反降低了，所以問題出在從瀏覽體驗(yàn) Demo 頁到 demo 登錄頁這個(gè)部分。

于是又測(cè)試了一遍從注冊(cè)到登錄 Demo 的流程：

發(fā)現(xiàn)從新官網(wǎng)完成注冊(cè)之后，跳轉(zhuǎn)到 Demo 體驗(yàn)頁面居然是舊官網(wǎng)的體驗(yàn) Demo 頁面，會(huì)給用戶帶來錯(cuò)覺，這還是我最開始訪問的那個(gè)網(wǎng)站嗎？最后緊急替換成新的體驗(yàn) Demo 頁面。

第三波，從瀏覽 Demo 頁到 Demo 登錄轉(zhuǎn)化率提升后，1個(gè)多星期后再次下降了

這次數(shù)據(jù)的下降，其實(shí)老板并沒有發(fā)現(xiàn)，所以要趕在老板發(fā)現(xiàn)前，先把問題找出來，汗顏…

各種假設(shè)找原因中，會(huì)不會(huì)是在 Demo 頁，新版本點(diǎn)擊登錄的比例小于舊版本？于是把成功提交申請(qǐng)后到 Demo 登錄的過程再次細(xì)化，在瀏覽 Demo 頁到 Demo 登錄之間增加一步“點(diǎn)擊登錄按鈕”，看看問題是不是出在這里？

很失望，新版本從瀏覽Demo頁到點(diǎn)擊登錄的比例大于舊版本，所以問題應(yīng)該不是出在 Demo 頁上，繼續(xù)假設(shè)排查中…

這些瀏覽 Demo 頁后沒有成功登錄 Demo 的這些流失的人都干什么去了？此時(shí)我們可以借助用戶分群，給這些流失的人打個(gè)標(biāo)簽，看看這批流失的人整體的訪問路徑是什么？

從中可以看出，新用戶從 Demo 頁跳轉(zhuǎn)到登錄頁后，有一定的用戶分流，有相當(dāng)大比例的用戶重新來到了首頁，重新進(jìn)行申請(qǐng)?jiān)囉?，也就是說存在同一個(gè)用戶申請(qǐng)多次的現(xiàn)象，所以又查看了人均申請(qǐng)次數(shù)這個(gè)指標(biāo)，確實(shí)存在人均申請(qǐng)多次的情況，申請(qǐng)間隔還恰好是1分鐘。

很奇怪，他們不是成功申請(qǐng)了嗎，為什么還要再申請(qǐng)？

從用戶登錄 Demo 的界面來看，猜想，很有可能在以下兩個(gè)地方出問題：

1. 這一段時(shí)間有可能短信系統(tǒng)出問題，導(dǎo)致發(fā)送賬號(hào)存在一定的延遲，用戶收不到賬號(hào)密碼，以為出問題了，就重新點(diǎn)擊了“還沒賬號(hào)，申請(qǐng)?jiān)囉谩?，所以也就不奇怪為什么?huì)有人重新來到首頁，重新申請(qǐng)了。
2. 密碼輸入錯(cuò)誤，但是又不支持找回密碼，只能重新申請(qǐng)。從數(shù)據(jù)中我們也驗(yàn)證了該假設(shè)，確實(shí)存在同一個(gè)用戶密碼輸入錯(cuò)誤多次的現(xiàn)象。

五、下一步產(chǎn)品優(yōu)化方向

從數(shù)據(jù)分析中，我們也獲得了下一步產(chǎn)品優(yōu)化的方向：

1. 進(jìn)一步完善賬號(hào)體系，忘記密碼后產(chǎn)品處理流程
2. 盡量保證短信系統(tǒng)的穩(wěn)定性，保證用戶在1分鐘內(nèi)成功收到用戶名密碼
3. 同一個(gè)手機(jī)號(hào)時(shí)候允許申請(qǐng)多次，如果不能申請(qǐng)多次，產(chǎn)品的處理流程是什么

更多優(yōu)化點(diǎn)，還在路上~~~

作者：李金霞，神策數(shù)據(jù)分析師，先后服務(wù)的客戶包含紛享銷客、拉鉤云人事、網(wǎng)易七魚、ofo、多盟、更美等公司，致力于通過數(shù)據(jù)分析實(shí)現(xiàn)產(chǎn)品優(yōu)化和精細(xì)化運(yùn)營。

本文由 @李金霞 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自PEXELS，基于CCO協(xié)議