完全基于個人理解的海外產(chǎn)品運(yùn)營-上線測試
本文將深入探討如何進(jìn)行有效的上線測試,確保每一步都為最終的產(chǎn)品成功貢獻(xiàn)力量。繼續(xù)閱讀,了解測試的核心指標(biāo)、圍欄指標(biāo)以及三種主要的測試方法,讓你的產(chǎn)品在競爭激烈的市場中脫穎而出。
有了一個自己能夠靈活使用的體系之后,接下來需要考慮的問題就是如何上線測試了,測試的方法看上去很復(fù)雜,其實只要理解了核心,理順了思路,測試,易如反掌。
01 核心指標(biāo)和圍欄指標(biāo)
首先,測試重點(diǎn)在于要測什么,要測的這一項,就是本次測試的“核心指標(biāo)”,在測試中要特別注意控制核心指標(biāo)的數(shù)量,一次測試中原則上只有一個核心指標(biāo),但實際操作中在特殊情況下允許靈活變通。
比如當(dāng)一個版本中同時修改了數(shù)據(jù)備份和磁盤格式化,在兩個點(diǎn)關(guān)聯(lián)度很低,可以在同一個版本中作為分別兩個不同的核心指標(biāo)來記錄數(shù)據(jù)波動情況,并結(jié)合后續(xù)的數(shù)據(jù)進(jìn)行分析。
核心指標(biāo)的表現(xiàn)往往決定了本次測試的成功與否,它的數(shù)據(jù)波動也反應(yīng)了本次修改帶給用戶實際的感受以及對產(chǎn)品最終的影響。
產(chǎn)品上的一個修改影響的往往不只修改點(diǎn)本身,這樣就需要關(guān)注更多的次級指標(biāo),也就是“圍欄指標(biāo)”。
雖然不鼓勵這樣做,但在測試的時候確實可以直接將產(chǎn)品最終的收益情況,如轉(zhuǎn)化率或者平均用戶價值,作為圍欄指標(biāo)。每次測試中可以有多個圍欄指標(biāo),它們可能是與核心指標(biāo)密切相關(guān)的,也可能僅僅是因為在產(chǎn)品中有著重要的地位。
圍欄指標(biāo)一般并不能直接反應(yīng)測試結(jié)果,但它們對于數(shù)據(jù)異常記錄,或核心指標(biāo)波動的說明以及數(shù)據(jù)支撐方面都是必要的存在。
02 測試方法
確定好了測試測什么之后,就要看具體怎么測了,目前在工作中比較常用的有三種測試方法。
1. 直接上線,前后對比
對于中小規(guī)模的產(chǎn)品來說,這種方法可能是最常用的,在日常工作中,使用這種方式往往是因為進(jìn)行測試的這個產(chǎn)品樣本量有限或者本次測試的重要程度較低。
因為如何嚴(yán)謹(jǐn)?shù)陌凑誂/B對比測試進(jìn)行的話,這些產(chǎn)品所需要的測試時間可能往往會在幾個月甚至幾年,這在實際工作中是不現(xiàn)實的。但這種測試得到的結(jié)果其準(zhǔn)確程度并不是百分百確定的,因為時間段的不同意味著除了產(chǎn)品本身,很有可能存在著其它的變量。
舉個例子:在圣誕節(jié)或者大型促銷季時進(jìn)行前后時間段對比測試的話,一般來說意義就不大了,因為隨著促銷季的到來,用戶的轉(zhuǎn)化意愿和轉(zhuǎn)化能力都有可能出現(xiàn)非常大的變化,這期間的數(shù)據(jù)波動很有可能并不是產(chǎn)品變化引起的或者數(shù)據(jù)波動的主要原因并不是產(chǎn)品的變化。
因此,如果使用直接上線,前后對比的方式進(jìn)行測試,首先要確定這個時間段能不能測試,然后要控制好時間和變量,要收集到足夠的樣本量才能進(jìn)行計算,避免偶發(fā)情況;其次,在測試結(jié)束后,仍然需要在一定時間內(nèi)繼續(xù)對數(shù)據(jù)進(jìn)行跟蹤,確認(rèn)測試結(jié)果。
2. A/B對比測試
A/B對比測試相對來說是一種更準(zhǔn)確的測試方式,即在同一時間分別上線A和B兩個版本,將用戶按照1:1的比例隨機(jī)分配給兩個版本,然后觀察A和B兩個版本分別的表現(xiàn)情況。
這種測試方式對參與測試的樣本量是有一定要求的,因為要將所有參與測試的樣本平均分成兩份,如果數(shù)據(jù)量較小的情況下仍然A/B,很有可能導(dǎo)致測試過程中出現(xiàn)過多的偶發(fā)情況;一般來說樣本量越大,測試的結(jié)果也就越準(zhǔn)確。
在測試前我們可以在專業(yè)網(wǎng)站(比如evanmiller.org)上先計算一下所需的樣本量,以此為參考,再對自己需要樣本量做到心中有數(shù)。即使我們無法完全達(dá)到需要的樣本量也沒有關(guān)系,因為可以根據(jù)核心指標(biāo)的表現(xiàn)情況,結(jié)合圍欄指標(biāo)共同進(jìn)行判斷。
3. 灰度測試
在擔(dān)心本次修改會對用戶或市場造成較大的沖擊,無法確定用戶或市場反應(yīng)時,灰度發(fā)布是一個不錯的選擇。灰度發(fā)布的重點(diǎn)在于如何控制上線節(jié)奏,把握用戶比例。一般情況下不提倡邊走邊看,最好是先設(shè)定時間段,比如首先計劃好第一周上線30%,第二周提升至上線50%,第三周70%,第四周100%,在比例調(diào)整前要注意觀察數(shù)據(jù),為比例調(diào)整提供充足的判斷依據(jù)。
這種測試方式比較特別,如果可以的話,在測試期間需要特別注意收集用戶反饋和評價的變化,可以是被動地等待用戶提交反饋,也可以主動地向用戶詢問意見和建議,然后再根據(jù)數(shù)據(jù)波動和反饋情況,看是否需要進(jìn)行調(diào)整。
03 測試結(jié)果
總的來說,測試結(jié)果一般有以下幾種:
- 若核心指標(biāo)與圍欄指標(biāo)皆為正向,且超出預(yù)期,則說明需要進(jìn)行預(yù)期管理優(yōu)化;
- 若核心指標(biāo)與圍欄指標(biāo)皆為正向,且符合預(yù)期,則說明該項目具有實際價值和意義,開啟復(fù)盤梳理上線流程,可以推廣至其它產(chǎn)品分別進(jìn)行測試;
- 若核心指標(biāo)與圍欄指標(biāo)表現(xiàn)不一致,測試結(jié)果存在異常,則需要詳細(xì)分析數(shù)據(jù)情況,如果確有異常,需要找出異常點(diǎn),進(jìn)行調(diào)整并重新測試,如果是其它原因,也需要對其進(jìn)行具體分析和調(diào)整。
- 若核心指標(biāo)與圍欄指標(biāo),或皆為負(fù)向,則需要考察具體原因,確定后考慮繼續(xù)推進(jìn)或調(diào)整重測或放棄測試進(jìn)行回滾。
04 特別注意事項
產(chǎn)品測試的坑還是挺多的,這里列出比較重要的幾個點(diǎn),需要特別注意。
1. 上線驗證
一定一定一定要確認(rèn),是不是真的上線了。這一點(diǎn)特別重要!
2. 數(shù)據(jù)跟蹤
在測試前就要做好相關(guān)的信息收集和事件埋點(diǎn)工作,只有數(shù)據(jù)跟蹤準(zhǔn)備充足,拿到了數(shù)據(jù),才能得出一個準(zhǔn)確的測試結(jié)果。
3. 修改點(diǎn)的控制
并不是所有的修改都要進(jìn)行測試,也并不是一次測試就要把所有的點(diǎn)全修改了拿過來測。一般情況下,修改的點(diǎn)越少,測試的結(jié)果越準(zhǔn)確。
如果一次修改中修改了幾個相互關(guān)聯(lián)的點(diǎn),那么在測試的數(shù)據(jù)分析中需要格外的慎重,不可輕易下結(jié)論。
4. 效果不好怎么辦
上線之前要給測試“留后路”,要提前準(zhǔn)備好撤回或者回退的機(jī)制。不過,這并不是說有一點(diǎn)風(fēng)吹草動就要取消測試了,每次測試盡量觀測完整的周期,這個周期長度需要在測試前就確認(rèn)好,可以是一周或者兩周。
產(chǎn)品運(yùn)營的主體階段基本就已經(jīng)結(jié)束了,剩下最后的內(nèi)容就是復(fù)盤了,下一篇具體說明一下,產(chǎn)品運(yùn)營方案上線之后的復(fù)盤工作。
作者:吳桐,公眾號:二喵的蠢奴才
本文由 @吳桐 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議。
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
- 目前還沒評論,等你發(fā)揮!