在網(wǎng)絡(luò)分析中，A / B測(cè)試（桶測(cè)試或分流測(cè)試）是一個(gè)隨機(jī)實(shí)驗(yàn)，通常有兩個(gè)辯題，A和B。如果你還對(duì)這個(gè)測(cè)試不是很明白，那就來(lái)文中看看~

一、定義

在網(wǎng)絡(luò)分析中，A / B測(cè)試（桶測(cè)試或分流測(cè)試）是一個(gè)隨機(jī)實(shí)驗(yàn)，通常有兩個(gè)變體，A和B。利用控制變量法保持有單一變量的前提下，將A、B數(shù)據(jù)進(jìn)行對(duì)比，得出實(shí)驗(yàn)結(jié)論。

二、簡(jiǎn)述

通常網(wǎng)站會(huì)利用分層和分流的機(jī)制保證本站的流量高可用，原因有以下幾點(diǎn)：

（1）網(wǎng)站的流量是有限的

（2）實(shí)驗(yàn)的對(duì)象是多層的或同一層內(nèi)互不干擾的

• 多層：例如網(wǎng)站不僅僅有UI層（界面），通常還有算法層等。
• 同一層內(nèi)互不干擾：例如網(wǎng)站的推薦位有多個(gè)（首頁(yè)推薦位、商詳頁(yè)推薦位）。

（3）AB tests的需求是大量的

AB 是一種科學(xué)的利用數(shù)據(jù)證明方案可行性的手段，一般在網(wǎng)站中廣泛使用。如果流量不進(jìn)行分層、分流可能會(huì)導(dǎo)致流量饑餓，即實(shí)驗(yàn)一在進(jìn)行中占用了全站的80%的流量，實(shí)驗(yàn)二就只能使用20%的流量。

因此良好的分層、分流規(guī)則可以充分使用網(wǎng)站的流量。

三、分層規(guī)則

1. 正交、互斥

在介紹分層規(guī)則之前，先介紹一下正交和互斥的概念。

（1）正交

如何理解正交?

例如：我們有100個(gè)兵乓球，隨機(jī)拿出來(lái)50個(gè)染成藍(lán)色，50個(gè)染成白色，則我們有藍(lán)色、白色兵乓球各50個(gè)，現(xiàn)在我們把這100個(gè)兵乓球重新放在袋子中搖勻，隨機(jī)拿出50個(gè)兵乓球，那么這50個(gè)兵乓球顏色藍(lán)色和白色各25。

當(dāng)然舉這個(gè)例子并不是非常的恰當(dāng)，因?yàn)闃颖咎倭?，此處舉例只為說明正交的意義。

正交實(shí)驗(yàn)：每個(gè)獨(dú)立實(shí)驗(yàn)為一層，層與層之間流量是正交的，一份流量穿越每層實(shí)驗(yàn)時(shí)，都會(huì)再次隨機(jī)打散，且隨機(jī)效果離散。

（2）互斥

如何理解互斥？

例如：我們有100個(gè)兵乓球，每25個(gè)為一組，分別染成藍(lán)、白、橘、綠。若X實(shí)驗(yàn)?zāi)玫氖撬{(lán)色、白色則Y實(shí)驗(yàn)只能拿橘色和綠色，我們說X實(shí)驗(yàn)的和Y實(shí)驗(yàn)是互斥的。

互斥實(shí)驗(yàn)：實(shí)驗(yàn)在同一層拆分流量，且不論如何拆分，不同組的流量是不重疊的。

2. 分層、分流規(guī)則

基于Goolge論文：《Overlapping Experiment Infrastructure:More, Better, Faster Experimentation》

流量從上往下流過分流模型：

（1）規(guī)則詳述：

• 域1和域2拆分流量，此時(shí)域1和域2是互斥的。
• 流量流過域2中的B1層、B2層、B3層時(shí)，B1層、B2層、B3層的流量都是與域2的流量相等。此時(shí)B1層、B2層、B3層的流量是正交的。
• 擴(kuò)展：流量流過域2中的B1層時(shí)，又把B1層分為了B1-1，B1-2，B1-3，此時(shí)B1-1，B1-2，B1-3之間又是互斥的。

根據(jù)以上規(guī)則我們可以不斷的在此模型中增加域、層，并且可以互相嵌套。這要與實(shí)際的業(yè)務(wù)相匹配，拆分過多的結(jié)構(gòu)可能會(huì)把簡(jiǎn)單的業(yè)務(wù)復(fù)雜化，拆分過少的結(jié)構(gòu)又可能不滿足實(shí)際業(yè)務(wù)。

（2）使用場(chǎng)景

例1：B1層、B2層、B3層可能分別為：UI層、搜索結(jié)果層、廣告結(jié)果層，這幾層基本上是沒有任何的業(yè)務(wù)關(guān)聯(lián)度的，即使共用相同的流量（流量正交）也不會(huì)對(duì)實(shí)際的業(yè)務(wù)造成結(jié)果。

但是如果不同層之間所進(jìn)行的試驗(yàn)互相關(guān)聯(lián)，如B1層是修改的一個(gè)頁(yè)面的按鈕文字顏色，B2層是修改的按鈕的顏色，當(dāng)按鈕文字顏色和按鈕顏色一樣時(shí)，該按鈕已經(jīng)是不可用的了。因此建議同一類型的實(shí)驗(yàn)在同一層內(nèi)進(jìn)行，并且需要考慮到不同實(shí)驗(yàn)互相的依賴。

例2：域1的此種分流的意義在于，當(dāng)我們做一個(gè)實(shí)驗(yàn)，并且希望其他任何實(shí)驗(yàn)都不能對(duì)我實(shí)驗(yàn)進(jìn)行干擾，保證最后實(shí)驗(yàn)的可信度。

有興趣的朋友可以去看一下Goolge的原文。

本文由 @?任秀明 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來(lái)自Unsplash，基于CC0協(xié)議