在過去兩年時(shí)間里，我們探索了一套適合工具型產(chǎn)品的體驗(yàn)度量模型理論體系，并在多個(gè)工具產(chǎn)品中實(shí)踐，獲得了正向的結(jié)果。

本文將從工具產(chǎn)品度量模型搭建和行為度量手段兩個(gè)方面，重點(diǎn)闡述設(shè)計(jì)思路和具體做法，希望對做工具產(chǎn)品的體驗(yàn)設(shè)計(jì)師有一些幫助。

一、工具體驗(yàn)度量模型搭建

1. 工具產(chǎn)品特征

使用酷家樂工具有多種類型的設(shè)計(jì)師用戶，因其使用目標(biāo)不同會(huì)導(dǎo)致使用工具的流程不同。如果是一個(gè)定制設(shè)計(jì)師，他首先要從戶型開始、然后去定制、再到軟裝最后去渲染，才能完成一個(gè)定制柜的方案設(shè)計(jì)。

在整個(gè)使用流程中有多個(gè)設(shè)計(jì)任務(wù)，如果到了一個(gè)設(shè)計(jì)衣柜的階段，他的設(shè)計(jì)行為從置入框架開始，再添加隔板、配件、抽屜、門板最后進(jìn)行全局替換才能完成一個(gè)衣柜的設(shè)計(jì)。然而不同的用戶設(shè)計(jì)習(xí)慣不同，設(shè)計(jì)行為的順序也不同。

為此工具產(chǎn)品呈現(xiàn)兩個(gè)特征：一、用戶類型多樣、用戶目標(biāo)差異大；二、用戶使用流程長，設(shè)計(jì)任務(wù)多，設(shè)計(jì)行為自由且無序。

在工具產(chǎn)品設(shè)計(jì)開發(fā)階段，經(jīng)常需要足夠了解用戶的意圖和行為，才能輔助體驗(yàn)設(shè)計(jì)師做判斷和決策。為此我們成立了項(xiàng)目組，開啟了工具產(chǎn)品體驗(yàn)度量模型的探索。

2. 項(xiàng)目定位

項(xiàng)目初衷

• 希望建立一套更加嚴(yán)謹(jǐn)?shù)捏w系和方法來洞察用戶意圖和行為，同時(shí)還能監(jiān)測工具產(chǎn)品體驗(yàn)變化及趨勢
• 其次更希望從發(fā)現(xiàn)問題到優(yōu)化問題后不斷迭代，最后通過產(chǎn)品體驗(yàn)的提升，提高產(chǎn)品的競爭力或達(dá)成產(chǎn)品目標(biāo)、商業(yè)目標(biāo)

再結(jié)合公司的現(xiàn)狀（以業(yè)務(wù)目標(biāo)為導(dǎo)向劃分資源）沒辦法通過管理手段解決產(chǎn)品體驗(yàn)問題，導(dǎo)致設(shè)計(jì)師在解決體驗(yàn)問題時(shí)，會(huì)因?yàn)閮?yōu)先級不高沒辦法獲取開發(fā)資源。

于是對項(xiàng)目的定位是：工具體驗(yàn)度量是協(xié)助業(yè)務(wù)解決體驗(yàn)問題（影響業(yè)務(wù)指標(biāo)的核心問題）的工具，并非通過自上而下的管理手段解決體驗(yàn)問題，這個(gè)定位需要更精準(zhǔn)的找到價(jià)值更高的優(yōu)化點(diǎn)。

3. 搭建工具度量模型

我們從用戶感知層、行為層到反思層拆解多維度的指標(biāo)。分別從可用性測試、行為數(shù)據(jù)和態(tài)度數(shù)據(jù)三種手段，采集用戶定量和定性的數(shù)據(jù)，搭建了一套多種度量手段和多維數(shù)據(jù)類型的度量模型。同時(shí)也為了更好的執(zhí)行模型定義了度量標(biāo)準(zhǔn)規(guī)范，提供了使用的工具和實(shí)踐案例。

多種度量手段

• 態(tài)度度量：主要采集用戶的態(tài)度數(shù)據(jù)，核心指標(biāo)是NPS和NSS，通常會(huì)用NSS來評估工具多個(gè)模塊用戶滿意度，NPS是整體產(chǎn)品體驗(yàn)的北極星指標(biāo)
• 可用性測試：通過定義一個(gè)用戶大目標(biāo)，拆解多個(gè)任務(wù)邀請用戶測試觀摩用戶使用過程發(fā)現(xiàn)問題，會(huì)根據(jù)NSS的不同模塊滿意度低的因子，來繼續(xù)做定性的調(diào)研
• 行為度量：對工具進(jìn)行行為數(shù)據(jù)的埋點(diǎn)采集，用大數(shù)據(jù)分析來了解用戶的行為一起判斷是否存在體驗(yàn)問題，定義的路徑可以與可用性測試的任務(wù)一致，來結(jié)合做定量的分析

度量手段標(biāo)準(zhǔn)化和工具化

• 度量手段標(biāo)準(zhǔn)規(guī)范：讓執(zhí)行模型的人可以更好的理解和實(shí)踐，同時(shí)也能保證指標(biāo)口徑的一致性和橫向可對比
• 度量手段工具化：讓體驗(yàn)問題指標(biāo)化、可視化，也能通過看板看到長期的變化，同時(shí)也方便大家理解和使用

4. 尋找機(jī)會(huì)點(diǎn)和切入點(diǎn)

機(jī)會(huì)點(diǎn)：通過用戶調(diào)研和用戶數(shù)據(jù)分析手段挖掘產(chǎn)品體驗(yàn)問題，找到影響產(chǎn)品體驗(yàn)和業(yè)務(wù)指標(biāo)增長的機(jī)會(huì)點(diǎn)，再對數(shù)據(jù)指標(biāo)進(jìn)行監(jiān)控持續(xù)不斷的優(yōu)化達(dá)成業(yè)務(wù)目標(biāo)

切入點(diǎn)：從用戶使用路徑角度拆解產(chǎn)品功能，用戶使用產(chǎn)品的路徑作為一個(gè)最小度量單元

• 產(chǎn)品由很多個(gè)功能組合成的，而用戶的使用路徑串聯(lián)了多個(gè)功能
• 工具的體驗(yàn)是否友好，可以監(jiān)測工具的核心路徑的體驗(yàn)指標(biāo)，判斷體驗(yàn)的好壞
• 還可以通過多個(gè)核心路徑的體驗(yàn)指標(biāo)去關(guān)聯(lián)產(chǎn)品指標(biāo)，通過不斷的產(chǎn)品優(yōu)化觀察產(chǎn)品指標(biāo)的變化

基于項(xiàng)目是要達(dá)成產(chǎn)品目標(biāo)，切入的方式是對用戶使用路徑的數(shù)據(jù)監(jiān)測，下面重點(diǎn)介紹行為度量的實(shí)踐方法

二、行為度量：用戶行為數(shù)據(jù)進(jìn)行體驗(yàn)度量

1. 指標(biāo)設(shè)計(jì)和定義

有了路徑作度量單元，又如何衡量一條路徑體驗(yàn)好壞呢？于是我們開始從用戶完成一個(gè)任務(wù)的角度思考。這個(gè)路徑的入口用戶可以找到嗎？用戶可以完成嗎？使用的過程是否遇到問題，完成的使用效率怎么樣。

定義了兩種和體驗(yàn)強(qiáng)相關(guān)的指標(biāo)：可用性和使用效率指標(biāo)

• 可用性是衡量用戶是否能完成任務(wù)的基礎(chǔ)指標(biāo)
• 使用效率是在完成任務(wù)的基礎(chǔ)上從時(shí)間和步驟的角度看路徑是否高效的高階指標(biāo)

可用性指標(biāo)有三個(gè)：觸達(dá)率、任務(wù)完成率、跳出率

• 觸達(dá)率：表示多少用戶進(jìn)入了定義路徑的起點(diǎn)，是衡量入口可見的指標(biāo)
• 任務(wù)完成率：表示用戶在預(yù)設(shè)路徑中是否能友好地完成整條路徑，是衡量路徑可用性是否良好的核心指標(biāo)
• 跳出率：是分析定義路徑中所有觸點(diǎn)的指標(biāo)，可以查看定義路徑中任一觸點(diǎn)跳出的用戶數(shù)，用來分析影響路徑完成的問題觸點(diǎn)

效率指標(biāo)有兩個(gè)：任務(wù)完成時(shí)間、任務(wù)完成步驟

• 任務(wù)完成時(shí)間：用戶在任務(wù)完成時(shí)，所花費(fèi)的時(shí)間，從進(jìn)入路徑到最后完成路徑過程中消耗的時(shí)間
• 任務(wù)完成步驟：用戶在任務(wù)完成時(shí)，所需要的步驟，從進(jìn)入路徑到最后完成路徑過程中消耗的步驟（有效點(diǎn)擊事件個(gè)數(shù)）

2. 指標(biāo)分析緯度和使用場景

全量可交叉分析的維度說明

從指標(biāo)定義角度，拆解了指標(biāo)可交叉分析的緯度，提供使用指標(biāo)的分析思路。全量可以從相似路徑（相同使用目的路徑）、用戶類型、時(shí)間角度（優(yōu)化前后）進(jìn)行交叉對比分析。

基于全量可交叉分析的角度，下面枚舉了日常工作中比較常用到的分析場景

場景一：多條路徑單個(gè)指標(biāo)怎么分析

• 對比相似路徑（目標(biāo)相同的路徑）單個(gè)指標(biāo)。例如查找模型的路徑有兩種方式：a用搜索找模型；b用類目層級找模型，對比兩條路徑任務(wù)完成率，看哪條路徑是使用量大
• 對比并列路徑（前后依賴的路徑）單個(gè)指標(biāo)。例如完成一個(gè)模型的擺放有三個(gè)前后依賴的路徑：a素材面板找模型；b畫布放置模型；c在參數(shù)面板調(diào)整尺寸，可以對比任務(wù)完成率，看是哪條路徑影響了后續(xù)路徑的使用。

場景二：單條路徑多個(gè)指標(biāo)對比分析

• 分析單條路徑多個(gè)指標(biāo)，例如可以觀察多少用戶觸達(dá)了該路徑起點(diǎn)，多少用戶完成了該路徑，多少用戶從某個(gè)觸點(diǎn)跳出了
• 還可以繼續(xù)對完成路徑的使用效率（時(shí)間和步驟）進(jìn)一步分析，判斷路徑的使用步驟影響大還是時(shí)間消耗大

場景三：多個(gè)路徑多個(gè)指標(biāo)的分析

多個(gè)路徑和多個(gè)指標(biāo)主要用于對路徑更加深入的分析，一般常用的使用案例有以下幾種：

• 觸達(dá)率和任務(wù)完成率結(jié)合，對多條路徑不同入口和任務(wù)完成情況的對比
• 任務(wù)完成率和跳出率結(jié)合，在多條路徑中找到影響任務(wù)完成的問題觸點(diǎn)分析
• 使用效率對比，多條路徑的任務(wù)完成率和任務(wù)完成步驟或時(shí)間進(jìn)行分析

有了指標(biāo)的定義和分析思路，如果需要大家用起來，還需要降低指標(biāo)的使用難度，于是我們開始了路徑分析的工具建設(shè)。

3. 行為度量工具建設(shè)

1）困難和挑選

以路徑作為切入點(diǎn)，按照之前的設(shè)想，只要對工具進(jìn)行全埋點(diǎn)的數(shù)據(jù)采集后，再進(jìn)行數(shù)據(jù)分析找到工具TOPN的路徑，最后通過監(jiān)測TOPN路徑的體驗(yàn)指標(biāo)來觀察產(chǎn)品體驗(yàn)的變化。但是在埋點(diǎn)上我們遇到了全埋點(diǎn)實(shí)現(xiàn)不了和歷史埋點(diǎn)結(jié)構(gòu)不一致的問題

工具產(chǎn)品全埋點(diǎn)的困難體現(xiàn)在以下幾個(gè)方面：

• 埋點(diǎn)成本大：用戶在場景畫布的操作頻繁，觸發(fā)事件數(shù)據(jù)量大，存儲(chǔ)和分析資源消費(fèi)龐大
• 畫布中埋點(diǎn)不精準(zhǔn)：畫布中是一個(gè)三維的海拔，采集埋點(diǎn)時(shí)需要識別不同海拔對應(yīng)的對象，尤其3D場景下，模型發(fā)生旋轉(zhuǎn)后海拔會(huì)發(fā)生變化會(huì)導(dǎo)致埋點(diǎn)不精準(zhǔn)
• 使用效率比較低：對于很多埋點(diǎn)數(shù)據(jù)，需要人工定義事件名稱和事件是否有效。例如在畫布拖動(dòng)一個(gè)模型，需要詳細(xì)的定義起點(diǎn)和結(jié)束的行為、時(shí)間、位置

埋點(diǎn)結(jié)構(gòu)不一致：

• 不同業(yè)務(wù)歷史埋點(diǎn)都是按照自己需求定義的埋點(diǎn)結(jié)構(gòu)，如果需要跨業(yè)務(wù)分析需要統(tǒng)一埋點(diǎn)和歷史數(shù)據(jù)結(jié)構(gòu)，重新定義埋點(diǎn)采集標(biāo)準(zhǔn)和規(guī)范。

從全埋點(diǎn)到核心路徑埋點(diǎn)

相對中后臺產(chǎn)品工具產(chǎn)品呈現(xiàn)一條路徑多個(gè)分叉，使用方式反反復(fù)復(fù)且無序的情況。

因?yàn)槿顸c(diǎn)的限制，只能人工拆解工具的核心路徑，為了不漏掉用戶更多的使用行為，同時(shí)需要梳理核心路徑的多個(gè)子路徑。

指標(biāo)模型化、工具化降低使用難度

基于拆解的埋點(diǎn)讓路徑支持自定義拼接和指標(biāo)模型化，降低使用難度

• 路徑自定義：一條路徑由多個(gè)觸點(diǎn)組成，在使用的時(shí)候可以按需拼接即可
• 指標(biāo)模型化：只要定義路徑就可以快速拉取對應(yīng)的路徑指標(biāo)數(shù)據(jù)

同時(shí)還兼容了用戶分群、路徑保存和數(shù)據(jù)下載等用于二次分析的功能

三、業(yè)務(wù)實(shí)踐

我們相信任何理論方法，都需要在業(yè)務(wù)實(shí)踐中達(dá)成產(chǎn)品目標(biāo)和商業(yè)目標(biāo)才能更有說服力

目前行為度量的路徑分析工具在酷家樂多個(gè)工具業(yè)務(wù)實(shí)踐，實(shí)踐案例有以下幾種：

• 在日常開發(fā)過程中監(jiān)測用戶體驗(yàn)：拆解工具核心行為，監(jiān)測體驗(yàn)指標(biāo)的數(shù)據(jù)波動(dòng)，來判斷產(chǎn)品迭代對用戶體驗(yàn)是否造成損害
• 路徑分析輔助體驗(yàn)設(shè)計(jì)師做決策：拆解核心操作路徑，建立數(shù)據(jù)指標(biāo)監(jiān)控看板，通過不斷迭代優(yōu)化觀察指標(biāo)的變化后調(diào)整優(yōu)化思路，最終達(dá)成設(shè)計(jì)目標(biāo)
• 通過路徑分析提高新用戶留存：找到新用戶任務(wù)完成率低的多條路徑，再用路徑的任務(wù)完成率關(guān)聯(lián)新用戶次周留存，建立數(shù)據(jù)看板，通過迭代優(yōu)化，觀測新用戶使用哪條或哪幾條路徑后對工具有更強(qiáng)的探索意愿并在次周進(jìn)入工具

四、最后

作為體驗(yàn)設(shè)計(jì)師的我們深有感觸，在設(shè)計(jì)評審階段，評估設(shè)計(jì)方案的合理性和設(shè)計(jì)優(yōu)化是否有價(jià)值上我們會(huì)遇到較大的挑戰(zhàn)。尤其是涉及到管理者、研發(fā)、商業(yè)和運(yùn)營等非設(shè)計(jì)崗位的同事，很容易帶入自己的感受去評估設(shè)計(jì)的好壞。因?yàn)榇蠹覜]有統(tǒng)一知識背景，我們需要用數(shù)據(jù)做一層轉(zhuǎn)譯。同時(shí)也需要用數(shù)據(jù)傳遞出設(shè)計(jì)方案迭代的思路、方向以及當(dāng)前階段的結(jié)果。

工具產(chǎn)品因其復(fù)雜的特性：一方面希望打造一套更嚴(yán)謹(jǐn)?shù)脑O(shè)計(jì)方法體系，從用戶調(diào)研和用戶行為數(shù)據(jù)分析的方法定位問題，到設(shè)計(jì)方案評估階段表達(dá)設(shè)計(jì)思考的合理，最終拿到正向數(shù)據(jù)結(jié)果；另一方面希望基于業(yè)務(wù)目標(biāo)的角度，通過體驗(yàn)度量的手段，不斷的發(fā)現(xiàn)問題和解決體驗(yàn)問題從而達(dá)成業(yè)務(wù)目標(biāo)，來證明產(chǎn)品體驗(yàn)對業(yè)務(wù)結(jié)果的直接價(jià)值。

同時(shí)我們也堅(jiān)信工具產(chǎn)品體驗(yàn)對用戶增長和公司商業(yè)目標(biāo)有著更大價(jià)值，后續(xù)我們會(huì)在體驗(yàn)指標(biāo)關(guān)聯(lián)業(yè)務(wù)指標(biāo)上持續(xù)嘗試工具產(chǎn)品增長模型的探索。

非常感謝項(xiàng)目組其他成員：靈雨（用戶研究員）、阿淼（數(shù)據(jù)分析師）、燎原、檸樂（開發(fā)工程師）

注：文中數(shù)據(jù)僅作為演示用途，非業(yè)務(wù)真實(shí)數(shù)據(jù)