由于電商APP的大改版，所以個人中心的首頁也在改版隊伍中。為了更加準確地找到首頁改版的關(guān)鍵點，筆者采用了AB實驗的形式，逐項通過各項數(shù)據(jù)指標進行分析，確定新版本改版效果。

報告內(nèi)容：

分析報告面向的角色是產(chǎn)品經(jīng)理，挑選的分析場景是經(jīng)常遇到的產(chǎn)品優(yōu)化中的效果驗證，使用的分析工具包括友盟+移動統(tǒng)計（U-App AI版）、內(nèi)部數(shù)據(jù)產(chǎn)品。

文章結(jié)構(gòu)：

1. 項目背景
2. 實驗期監(jiān)測
3. 數(shù)據(jù)復(fù)盤
4. 迭代方向

以下數(shù)據(jù)均作特殊（脫敏）處理，非真實數(shù)據(jù)，僅供分析落地參考。

一、項目背景

為配合電商App的大改版，上級也對個人中心的界面風(fēng)格提出新的要求，因此也提出個人中心首頁改版的要求。

1.1 改版分析

個人中心首頁作為信息分流類頁面，核心是快速將用戶導(dǎo)航到所需的的功能模塊。

其次，除了導(dǎo)航到不同的功能模塊，還提供商品推薦、引導(dǎo)郵箱驗證等內(nèi)容（重點在于效果復(fù)盤，前期需求分析不做贅述）。

因此可以根據(jù)頁面的功能定位及現(xiàn)有提供的功能，制定本次改版目標。

1.2?改版目標

（1）優(yōu)化個人中心首頁的功能導(dǎo)航，使用戶快速找到相應(yīng)功能板塊，降低個人中心的平均停留時間。

（2）推薦產(chǎn)品改為鋪開展示，增加個人中心首頁推薦位產(chǎn)品曝光量，提高個人中心首頁推薦位的交易量。

（3）郵箱驗證新增積分獎勵提示，促使更多用戶完成郵箱驗證，提高用戶郵箱驗證數(shù)。

1.3?實驗方式

新舊版?zhèn)€人中心首頁同時在線，通過分流工具進行流量劃分，保證實驗中的新舊樣本數(shù)量基本一致。

1.4 實驗時間

2018年11月16日-2018年11月29日

1.5?實驗樣本

舊版會話數(shù)：500000；新版會話數(shù)：499999

頁面數(shù)據(jù)的對比是兩個版本同期在線，相近樣本數(shù)量下的數(shù)據(jù)表現(xiàn)。

交易數(shù)據(jù)的對比是改版前后新舊版本推薦位交易次數(shù)對比。

二、實驗期監(jiān)測

AB實驗期間，會根據(jù)既定的改版目標，重點監(jiān)控AB版本核心指標的對比情況，以便調(diào)整AB實驗的分流策略。

為保證初期分流比例能使AB版本的測試會話數(shù)足夠多，避免因基數(shù)過小出現(xiàn)對AB實驗結(jié)果的誤判，根據(jù)個人中心首頁近一個月的流量情況，設(shè)定初始實驗流量比例為20%。

（即假設(shè)平均每日訪問個人中心首頁的會話數(shù)有100000，那么20%的比例參與實驗，每個版本每日分到的會話數(shù)就都是10000左右）。

2.1 平均停留時間

功能路徑：用戶洞察-事件分析-新建-頁面訪問路徑

對應(yīng)指標名：平均訪問時長

指標含義：統(tǒng)計日期內(nèi)，用戶對該功能頁面的平均使用時長情況；平均停留時間的大小本身并無好壞之分，根據(jù)具體場景評估平均停留時間大小的影響。

（以文章頁面為例，平均停留時間可能是越大越好；而對于導(dǎo)航類頁面，用戶能多快就多快找到自己想要的東西，平均停留時長是越小越好。）

2.2 退出百分比

功能路徑：基礎(chǔ)看板-功能使用-頁面訪問路徑

對應(yīng)指標名：跳出率

指標含義：統(tǒng)計日期內(nèi)，該功能頁面是否會導(dǎo)致用戶退出使用產(chǎn)品；退出百分比的大小本身并無好壞之分，根據(jù)具體場景評估退出百分比大小的影響。

（以商品頁面為例，退出百分比是越小越好，該類頁面的作用還是在流程指引上，并不是流程的終點，要盡可能避免造成用戶退出。

而對于支付完成頁面，用戶已經(jīng)達成既定交易轉(zhuǎn)化目標，用戶可能會退出產(chǎn)品，退出百分比是越大越好。）

2.3 交易次數(shù)

功能路徑：基礎(chǔ)看板-功能使用-自定義事件。

前置工作：在后臺注冊后，然后在后臺成功注冊后再進行埋碼，將“交易成功”作為事件埋點。

操作：點擊對應(yīng)事件的“查看”操作，即可進行事件的趨勢分析。

2.4 郵箱驗證數(shù)

同2.3，根據(jù)AB實驗情況，效果達到預(yù)期優(yōu)化方向，因此在后續(xù)時間里，逐步放大實驗流量比例。過程中效果也依舊達到優(yōu)化方向，直至完全放量，換下舊版本，換上新版本。

三、數(shù)據(jù)復(fù)盤

在全流量替換舊版本、上線新版本后，還需要監(jiān)測新版本效果一段時間。在這里選取了兩周作為效果觀察期，與實驗前數(shù)據(jù)進行對比校驗。

效果觀察期間，數(shù)據(jù)反饋情況依舊達到優(yōu)化方向。因此，本次實驗順利完成，為便于后期迭代，下面進行改版的數(shù)據(jù)復(fù)盤。

3.1 數(shù)據(jù)概況

平均停留時間、退出百分比、郵箱驗證數(shù)：數(shù)據(jù)取自U-App AI版，對比時間段為11.16-11.27。

交易次數(shù)：數(shù)據(jù)取自自研數(shù)據(jù)系統(tǒng)，對比時間段為11.05-11.13與11.19-11.27；28、29號數(shù)據(jù)由于樣式發(fā)生變化，所以不納入計算，已修復(fù)。

實驗說明：采用的是自研數(shù)據(jù)系統(tǒng)的AB實驗功能，實驗的新舊樣本數(shù)量相近，不考慮基數(shù)造成目標次數(shù)的差異問題。

從上面數(shù)據(jù)來看，已滿足改版的三個目標：

1. 優(yōu)化個人中心首頁的功能導(dǎo)航，使用戶快速找到相應(yīng)功能板塊，降低默認頁的停留時間。

從目前數(shù)據(jù)看，新版默認頁平均停留時間為12.0s，相較舊版的18.0s降低了27%；同時頁面退出百分比也降低35%，下降為2.00%。

說明改版在降低用戶頁面平均停留時間的同時，也并未造成更多用戶退出網(wǎng)站，反而是促使更多用戶持續(xù)訪問網(wǎng)站，達成改版目標。

2. 增加個人中心首頁推薦位產(chǎn)品的曝光量，提高默認頁推薦位的成單量。

從目前數(shù)據(jù)來看，新版默認頁交易次數(shù)為4,275，相較相鄰周期舊版的交易次數(shù)3,340次提高了28%；達成改版目標。

3. 郵箱驗證新增提示，促使更多用戶完成郵箱驗證，開啟積分模塊。

從目前數(shù)據(jù)來看，新版默認頁郵箱驗證數(shù)為3,755，相較舊版的郵箱驗證數(shù)735次提高了511%，達成改版目標。

3.2 頁面數(shù)據(jù)分析

3.2.1 訪問情況

從上面二維表來看，在自研數(shù)據(jù)系統(tǒng)的控制下，參與實驗的新舊版UV數(shù)相近，但PV數(shù)出現(xiàn)較大的差異：在相近的UV數(shù)下，新版的PV數(shù)比舊版的要高出13.04%，平均瀏覽量達到3.45。

這說明參與新版實驗的用戶會比舊版實驗的用戶更高頻使用用戶中心，促進用戶中心模塊的用戶活躍度提高。

功能路徑：基礎(chǔ)看板-功能使用-頁面訪問路徑。

對應(yīng)指標名：PV對應(yīng)“訪問次數(shù)”，UV無對應(yīng)指標。

指標含義：PV即表示頁面的訪問次數(shù)，UV表示頁面的訪客數(shù)，但這里缺少了頁面的UV統(tǒng)計，反應(yīng)不了訪客對頁面的使用頻率。

例如注冊頁面較平時的平均訪問次數(shù)暴漲，可能是注冊流程存在流程使用障礙，如注冊成功返回不成功，引起用戶頻繁刷新，可能導(dǎo)致UV不變，但PV暴漲。

3.2.2 頁面質(zhì)量

由于個人中心首頁是定位于個人中心功能導(dǎo)航，所以在評判個人中心首頁的效率上，是從停留時間越短越好的角度出發(fā)（一定范圍內(nèi)）。

從上圖看平均停留時間：頁面平均停留時間波動比較大，但新版?zhèn)€人中心首頁的平均停留時間大多時候都是比舊版的平均停留時間低，所以新版?zhèn)€人中心首頁達到了降低頁面平均停留時間的目標。

從上圖看退出百分比，可以看出頁面的退出率也是波動比較大，其中新版?zhèn)€人中心首頁的退出百分比也是大多時間低于舊版的退出百分比。

這說明新版?zhèn)€人中心首頁為引導(dǎo)用戶進一步訪問網(wǎng)站做出更大貢獻，從而其它頁面也得到更多的訪問；另一個角度，在降低頁面平均停留時間的同時，也并未造成更多用戶在該頁退出網(wǎng)站。

從上圖看頁面跳出率，可以看出：用戶在個人中心首頁進行著陸時，新舊版本的數(shù)據(jù)表現(xiàn)基本一致，新版本并不能有效解決用戶著陸跳出的情況，跳出率一般反映著陸頁對用戶的吸引力，促使用戶進一步訪問網(wǎng)站。

可從下面幾點考慮下個版本的迭代：

1. 個人中心首頁并不是常規(guī)用戶的著陸頁，可從這些用戶的來源入手，為什么在用戶中心著陸，再就來源進行分析；可能是站內(nèi)用戶重啟會話的當前頁面，但沒繼續(xù)訪問就關(guān)掉頁面了。

2. 作為著陸頁，用戶讀完后，是不是沒有引導(dǎo)用戶進一步訪問頁面或者用戶沒有找到他想要的東西；同時，如果考慮引導(dǎo)新增，需要考慮個人中心首頁本身定位于功能導(dǎo)航頁面。

（暫不支持提供跳出率評估落地頁效果，跳出率統(tǒng)計來自內(nèi)部自研的數(shù)據(jù)系統(tǒng)。）

3.2.3 事件觸發(fā)

目前網(wǎng)站的注冊是沒有經(jīng)過郵箱驗證的環(huán)節(jié)，只要是合乎格式的郵箱就能順利注冊成功，因此可能存在非用戶使用的郵箱，加大我們對用戶區(qū)分的難度。

同時，個人中心的積分模塊是需要郵箱驗證才能開啟。在新版的個人中心首頁中，新增了郵箱驗證的獎勵積分提示，期望讓更多用戶去完成郵箱驗證操作，上圖統(tǒng)計的是用戶點擊郵箱驗證的情況。

可以看到：新版郵箱驗證數(shù)遠高于舊版郵箱驗證數(shù)，伴隨實驗流量的加大（23號調(diào)至50%），新舊版的驗證數(shù)對比越來越明顯。

截至29日，同樣實驗樣本，新版郵箱驗證數(shù)達3,755次，高出舊版郵箱驗證數(shù)511%。

3.3?交易數(shù)據(jù)分析

交易次數(shù)對比的是實驗上線星期前后9天的數(shù)據(jù)對比，采用的是星期對比（比如19日是周六，那對比的也是相鄰最近的周六），排除星期單量的周期變化帶來的影響。

可以看：在流量小初期，新舊對比還不是特別明顯，在23號加大實驗流量后，新舊間的交易次數(shù)對比就越來越明顯。

截至27日，對比11.05-11.13與11.19-11.27的交易次數(shù)，新版交易次數(shù)達4,275次，高出舊版交易次數(shù)28%。

3.3.1 推薦位點擊情況

從上面二維表來看，實驗上線星期前后9天，新版較舊版增加了14.00%的推薦點擊UV及12.25%的推薦點擊次數(shù)，從而促使更多用戶進入推薦轉(zhuǎn)化，促成更多的訂單。

下面我們來拆解不同推薦位的點擊情況：

可以看到，推薦位“猜你喜歡”及“秒殺”的點擊情況較舊版都有明顯增長，其中“猜你喜歡”增長最為明顯，UV和次數(shù)分別達到了31.12%、35.44%。同時，“歷史瀏覽”呈現(xiàn)下降的趨勢，屬于負增長。

結(jié)合推薦位的位置考慮，“猜你喜歡”是屬于第一屏，不需要切換即可查看，因此可以推測產(chǎn)品展示方式改為鋪開展示后，雖然產(chǎn)品的曝光得到增長，但是也僅限第一屏的推薦位。基于“猜你喜歡”的點擊基數(shù)大，所以也讓整體推薦位的點擊次數(shù)得到增長。

同時，我們也發(fā)現(xiàn)：第一屏的推薦位會得到更高曝光，同時也會減弱用戶對其它推薦位的注意力，從而造成非第一屏推薦位（即需進行Tab切換的推薦位）的點擊發(fā)生明顯下降。

涉及對交易數(shù)據(jù)的維度拆分，采用的是觸點歸因（即分清每個位置實際帶來的交易轉(zhuǎn)化，而不是指經(jīng)過這個路徑或操作的用戶轉(zhuǎn)化，如Banner實際銷售效果、文本鏈接實際銷售效果、活動頁面實際銷售效果）。

在這一塊，友盟+提供的產(chǎn)品尚未滿足對觸點歸因的支持，因此涉及對維度拆分分析的，采用自研數(shù)據(jù)系統(tǒng)，下同。

3.3.2 推薦位交易情況

從上面二維表來看，實驗上線星期前后9天，新版較舊版增加了14.22%的推薦交易UV及27.40%的推薦交易次數(shù)，促成更多的轉(zhuǎn)化交易。

下面我們來拆解不同推薦位的交易情況：

從上面來看，“秒殺”在改版過程中未做調(diào)整，只做了UI界面改版，可能是秒殺商品的折扣力度問題，引起數(shù)值波動異常。

我們主要分析“歷史瀏覽”及“猜你喜歡”兩個推薦位，結(jié)合前面3.3.1的分析，我們可以看到“猜你喜歡”交易的增長速度和點擊的增長速度相近，符合預(yù)期中伴隨點擊越來越多，成交也越來越多。

同時，“歷史瀏覽”的交易下降比例相較點擊卻低很多，而交易UV與點擊UV的下降比例也相近，推測可能是有用戶多次購買，從而造成交易下降比例不符預(yù)期。

3.3.3 推薦位轉(zhuǎn)化情況

從上面二維表來看，實驗上線星期前后9天，新舊兩版轉(zhuǎn)化對比來看，UV的交易轉(zhuǎn)化率基本不變，次數(shù)的交易轉(zhuǎn)化率有13.67%的提高，可以推測新版促成了用戶的多次交易行為。

下面我們來拆解不同推薦位的轉(zhuǎn)化情況：（僅拆解UV的轉(zhuǎn)化情況）

“秒殺”在改版過程中未做調(diào)整，只做了UI界面改版。也是主要看“歷史瀏覽”及“猜你喜歡”的轉(zhuǎn)化情況，可以看到“歷史瀏覽”的轉(zhuǎn)化率（4.65%）遠高于“猜你喜歡”的轉(zhuǎn)化率（2.09%），同時“猜你喜歡”的轉(zhuǎn)化率并未因曝光增長而得到大幅提升。

四、迭代方向

4.1 跳出率優(yōu)化

（1）用戶中心并不是常規(guī)著陸頁，可從用戶來源入手，為什么在用戶中心著陸？再就來源進行分析；可能是站內(nèi)用戶重啟會話的當前頁面，但沒繼續(xù)訪問就關(guān)掉頁面了。

U-App AI版可查看用戶訪問路徑，但存在不能就路徑某個環(huán)節(jié)具體分析，拆分出站外引流和站內(nèi)引流入口的數(shù)據(jù)情況，按照場景去分析頁面的跳出情況，現(xiàn)有整體路徑分析的入口如下：

基礎(chǔ)看板-功能使用-頁面訪問路徑

（2）作為著陸頁，用戶讀完后，是不是沒有引導(dǎo)用戶進一步訪問頁面或者用戶沒有找到他想要的東西。同時，如果考慮引導(dǎo)新增，需要考慮默認頁本身定位于功能導(dǎo)航頁面。

4.2?交易次數(shù)優(yōu)化

（1）在鋪開產(chǎn)品展示時，第一屏的推薦位會得到更高曝光，同時也會減弱用戶對其它推薦位的注意力，造成非第一屏推薦位的點擊發(fā)生明顯下降。

（2）結(jié)合3.3.1及3.3.2，我們知道“歷史瀏覽”的點擊和交易都是僅次于第一屏的“猜你喜歡”，但“歷史瀏覽”的轉(zhuǎn)化率卻遠高于“猜你喜歡”的轉(zhuǎn)化率（兩倍多）。

因此，我們是否可以考慮將“歷史瀏覽”作為第一屏，預(yù)期可以大幅提高我們在這的交易次數(shù)。

相關(guān)閱讀

萬元懸賞數(shù)據(jù)高手｜2019「友盟杯」數(shù)據(jù)分析大賽報名啟動！

你的堅持值得被肯定｜2019「友盟杯」數(shù)據(jù)分析大賽結(jié)果公布

一款家居后APP，如何用增長黑客方法實現(xiàn)從0到40萬增長？

產(chǎn)品高于需求：低頻產(chǎn)品也可以有高用戶活躍度

渠道評估怎么做，才能讓App假量灰產(chǎn)無處遁形？

我的朋友老曹，居然用數(shù)據(jù)工具搞了這么多事

針對直播產(chǎn)品的成熟期，重構(gòu)用戶運營體系方案

拆解主要數(shù)據(jù)，分析社交類產(chǎn)品的數(shù)據(jù)運營方法

如何利用數(shù)據(jù)驅(qū)動，從0.5到1搭建App積分體系？

場景分析：游戲關(guān)卡難度對玩家流失的影響

以抖音和陸金服為例，解構(gòu)數(shù)據(jù)分析三個核心原理

作者：JM，從事互聯(lián)網(wǎng)電商行業(yè)4年，其中3年數(shù)據(jù)產(chǎn)品經(jīng)驗，從0到1規(guī)劃過訪客日瀏覽量超千萬的流量分析系統(tǒng)。

本文為「人人都是產(chǎn)品經(jīng)理」社區(qū)和友盟＋聯(lián)合舉辦的“2019「友盟杯」數(shù)據(jù)分析大賽”中獲獎作品，未經(jīng)作者及平臺許可，禁止轉(zhuǎn)載

本文部分數(shù)據(jù)有脫敏處理，非全部真實數(shù)據(jù)

題圖來自Unsplash，基于CC0協(xié)議