產(chǎn)品在上線新功能之前，往往需要先做灰度測試，那么灰度測試的難點在哪里？其中，如何定義灰度測試的標(biāo)準(zhǔn)就是難點之一。這篇文章里，作者結(jié)合實戰(zhàn)經(jīng)驗，針對灰度標(biāo)準(zhǔn)如何定這個問題做了解讀，一起來看看吧。

我們在上線一個新功能前，如果沒把握，都會做灰度測試，那么灰度測試的難點在哪里呢？

筆者認(rèn)為如何定灰度測試的標(biāo)準(zhǔn)往往是難點。

一、結(jié)合測試目標(biāo)定灰度標(biāo)準(zhǔn)

定標(biāo)準(zhǔn)前，需要先明確灰度測試的目的是什么？

是檢測性能問題，還是想看體驗效果。

比如如果灰度測試的標(biāo)準(zhǔn)是檢測性能問題，那么往往在灰度測試前，都會做壓測（壓力測試），模擬線上的流量環(huán)境，提高灰度測試的準(zhǔn)確性。

在灰度之后，如果發(fā)現(xiàn)性能受到較大影響，一般會做回滾（定位到新功能代碼行，下架新代碼，仍然復(fù)用老代碼），當(dāng)然一般開發(fā)都會在新功能代碼行處設(shè)置開關(guān)，當(dāng)出現(xiàn)性能問題后，直接關(guān)閉開關(guān)即可。而做性能檢測的難點在于模擬壓力測試的環(huán)境，壓測的環(huán)境越真實，檢測的標(biāo)準(zhǔn)真實度越高。

而如果是想看體驗效果，例如上線新功能后，想查看新功能用戶的點擊率如何？

此時就涉及到灰度標(biāo)準(zhǔn)的制定。比如小紅書，當(dāng)你發(fā)布一篇小紅書筆記后，小紅書會先選定100人的范圍，可能涉及到發(fā)布筆記的話題，同城，女性等標(biāo)準(zhǔn)，在100人的范圍內(nèi)點擊數(shù)據(jù)理想，將會繼續(xù)釋放流量到500人范圍，以此類推，當(dāng)你的筆記獲得更多收藏和贊，會獲得更多流量助推。其實這個本質(zhì)上也是灰度測試。

二、計算“最小可靠性樣本”，定最佳樣本數(shù)

灰度測試的樣本數(shù)應(yīng)該如何選取呢？大多數(shù)情況下，測試樣本數(shù)是越多越好。但是如果沒有定好方案，那么將會影響最終測試的效果。

這里提供一個灰度測試樣本數(shù)計算網(wǎng)址，使用它便可以快速計算出樣本總數(shù)。

灰度實驗組的人數(shù)為“最小可靠性樣本”?？梢酝ㄟ^這個網(wǎng)站來計算合適的人數(shù)：Evan’s Awesome A/B Tools。標(biāo)紅的部分即為最佳樣本數(shù)，至于計算原理和使用網(wǎng)站方法，大家可以自行百度，有各類文章可供參考。

三、顆粒度都會從粗到細(xì)，多次灰度

例如“文心一言”大模型剛面世的時候，篩選了一批用戶優(yōu)先體驗。這其實本質(zhì)上也是灰度測試，而優(yōu)先獲得文心一言試用機會的，也許是這樣一些標(biāo)簽：高頻篩選“大模型”用戶、高頻搜素ChatGPT用戶等。那么回到最初的問題，灰度的標(biāo)準(zhǔn)應(yīng)該如何定呢？

一般灰度測試顆粒度都會從粗到細(xì)去制定，顆粒度的制定當(dāng)然前提是來源于公司是否有該字段數(shù)據(jù)庫的支持。

比如公司主打做旅游市場的汽車租賃服務(wù)，根據(jù)前期調(diào)研，發(fā)現(xiàn)疫情后，旅游業(yè)將迎來小高峰，很多自駕游游客都會選擇環(huán)島游，汽車租賃服務(wù)必然會非常受歡迎。因此公司計劃在海島附近開設(shè)汽車租賃服務(wù)。

在平臺開設(shè)租賃服務(wù)方案后，不確定該租賃服務(wù)上線后市場的接受度，需要先選取最小可靠性樣本?？煽啃詷颖緩淖铋_始的粗顆粒度：旅行目的地“海島、”旅行方式“自駕”，先回收一批用戶的測試數(shù)據(jù)，再慢慢細(xì)化顆粒度，比如旅行天數(shù)（30天內(nèi)、10天內(nèi)、5天內(nèi)）、旅行人數(shù)（家庭游、親子游、情侶游）、旅行交通費用（1000、2000、3000）等字段對租賃方案的接受度各自如何。

多次灰度后，分析用戶數(shù)據(jù)，哪部分用戶會選擇汽車租賃服務(wù)。從而推動租賃方案進一步完善和精準(zhǔn)化投放。

而如果在細(xì)化顆粒度的過程中，數(shù)據(jù)庫缺少該字段，比如旅行交通費用不在數(shù)據(jù)庫字段中，那么則無法就這一項做為灰度測試的標(biāo)準(zhǔn)。

以上是筆者在實戰(zhàn)中的一點心得，希望能幫助到大家。