6000字超全解讀:B端云產(chǎn)品使用體驗度量模型
如何去評判或衡量一個B端產(chǎn)品的架構方案設計是否合理?或許我們可以尋找適合B端產(chǎn)品的體驗度量方案,并將B端產(chǎn)品使用體驗作為評判依據(jù)之一。那么,常見的B端云產(chǎn)品常用的體驗度量模型有哪些?來看看本文的總結分析。
B 端產(chǎn)品使用體驗是衡量 B 端產(chǎn)品架構方案設計是否合理、產(chǎn)品是否好用的一個重要依據(jù),也是提升產(chǎn)品競爭優(yōu)勢的重要因素。且 B 端產(chǎn)品具有鏈路冗長、操作復雜等特點,好的體驗設計有助于降低用戶上手門檻,提升用戶體驗。因此,度量 B 端產(chǎn)品的使用體驗尤為重要。
但由于業(yè)務特征的差異,C 端產(chǎn)品較為成熟的體驗度量方案很難直接搬用于 B 端產(chǎn)品,「尋找適合 B 端產(chǎn)品的體驗度量方案」成為一個難點。
基于上述背景,本篇文章將介紹一些B 端云產(chǎn)品常用的體驗度量模型,希望能為大家提供實踐參考。
一、產(chǎn)品體驗度量模型概覽
行業(yè)中現(xiàn)有的 B 端產(chǎn)品體驗度量方案有哪些呢?以指標數(shù)據(jù)的主客觀屬性為依據(jù),可將體驗度量方案劃分為客觀度量、主觀度量和兼顧主客觀度量三大類型。
客觀度量主要是通過數(shù)據(jù)埋點監(jiān)測用戶行為數(shù)據(jù),典型模型/指標如 PULSE 模型、活躍用戶數(shù)、留存率、ARPU、LTV 等;
主觀度量主要是收集用戶對產(chǎn)品的主觀評分,典型模型/指標包括 NPS、費力度、客戶滿意度指數(shù)、KANO 滿意度模型等;
主客觀兼顧度量則是結合用戶行為數(shù)據(jù)和主觀打分得到分值,并把分值劃分成不同等級作為參考,典型模型包括 UES 模型、HEART 模型、GSM 模型、PTECH 模型等等。
圖| 現(xiàn)有體驗度量模型概覽
從該分類可看出,互聯(lián)網(wǎng)大廠目前使用的度量模型大多兼顧主客觀數(shù)據(jù),能夠更全面地量化產(chǎn)品的使用體驗。因此,本篇文章介紹的體驗度量模型將聚焦于該類型,主要側重于UES 模型的介紹,同時會簡單地介紹下谷歌的HEART、GSM 模型和螞蟻金服的 PTECH 模型。
二、UES理論模型介紹
1. UES 簡介
UES(User Experience System)是阿里云設計中心通過多年設計實踐沉淀下來的云產(chǎn)品使用體驗度量系統(tǒng),它不僅是一套方法論,更是一套可運行的體系,由三大部分有機構成:
一是包含五大維度的 UES 體驗度量模型;
二是包含易用性測試工具和數(shù)字化管理平臺的體驗工具集;
三是體驗問題從發(fā)現(xiàn)到閉環(huán)的體驗管理機制。
由此可見,除了確定模型指標,UES 還進一步完善了基于 UES 模型的數(shù)字化管理體系,包括工具化的度量產(chǎn)品、系統(tǒng)化的管理機制(本篇文章主要介紹的是理論化層面的 UES 體驗度量模型)。
圖| UES 構成
度量產(chǎn)品體驗的指標有很多,但整體可分為三大類,分別是主觀態(tài)度、客觀行為和系統(tǒng)表現(xiàn),如下圖所示,從下至上,主觀性會越來越強。
圖| 體驗指標類型
2. UES 五大度量維度
UES 模型為綜合運用主觀和客觀、定性和定量分析的度量體系,包含易用性、一致性、滿意度、任務效率和性能5個度量維度,適用于技術類B端(云)產(chǎn)品的體驗度量場景。
圖| UES 模型五大度量維度
首先,衡量主觀態(tài)度的維度有三個:易用性、一致性和滿意度。
- 易用性是衡量產(chǎn)品使用體驗的核心維度,反映產(chǎn)品對用戶而言是否易于學習和使用。
- 一致性指多款產(chǎn)品間通用范式部分的一致程度。
- 滿意度反映用戶對產(chǎn)品或服務的期望被滿足的程度,且一定程度上反映用戶再次使用和推薦產(chǎn)品的程度。
其次,衡量客觀行為的維度為任務效率。任務效率反映用戶使用產(chǎn)品完成任務的準確性、完備性及相應的資源消耗程度。針對有明確任務或有固定使用流程的產(chǎn)品,通過比對用戶路徑和產(chǎn)品設計的理想路徑之間的差異,能夠幫助我們發(fā)現(xiàn)產(chǎn)品流程設計上的問題。
最后,衡量系統(tǒng)表現(xiàn)的維度為性能。性能反映用戶使用產(chǎn)品的流暢性和穩(wěn)定性,影響用戶感知。
從整體上看,這些指標間并非相互獨立,而是相互影響、相互促進。比如說,易用性的提升可以促進任務效率的提升,降低學習成本,提升用戶對產(chǎn)品的滿意度;一致性的提高可以降低用戶的操作時長及錯誤率,進而提升任務效率和用戶的滿意度。而任務效率和性能的提升也能正向影響滿意度。
3. UES 指標體系
在五大度量維度的基礎上,UES 模型的每個維度均細分了相應的二級指標,且運用了多種度量方法、度量工具來度量指標,整體框架如下:
圖| UES 模型框架
易用性包含易操作性、易學性、易見性/清晰性三個子維度,主要通過易用性測試、啟發(fā)式評估等方法來度量。
一致性包含整體樣式一致性、通用框架一致性、常用場景組件一致性等三個子維度,主要通過啟發(fā)式評估來度量。
滿意度的度量方法主要有用戶訪談、問卷調(diào)研,采用的度量工具為可用性度量表、滿意度問卷。
任務效率包含功能使用率、任務完成率、任務完成時間、任務完成效率等子維度,需要通過用戶行為數(shù)據(jù)采集的數(shù)據(jù)監(jiān)控方法來度量。
性能包含首屏渲染時間、頁面請求響應時間、API 請求響應時間、頁面請求成功率等維度,需要通過應用實時監(jiān)控服務的性能監(jiān)控方法來度量。
對于每一個細分指標的定義,下表給出了相應的解釋。但這些僅是比較普遍、通用的解釋,在應用中,應根據(jù)實際情況進行調(diào)整。比如說,對于滿意度的度量,SaaS 和 PaaS 產(chǎn)品考量的維度會有些許不同。衡量 SaaS 產(chǎn)品滿意度時可能會考量產(chǎn)品的智能化程度,衡量 PaaS 產(chǎn)品滿意度時可能還會考量產(chǎn)品的開發(fā)效率、開放能力等。
圖| UES 模型指標定義
4. UES 度量方法及工具
首先是易用性度量,UES 模型的易用性度量運作機制如下圖。度量方法主要分為面向?qū)<业膯l(fā)式評估和面向真實用戶的易用性測試。這個過程中,需要由易用性專業(yè)建設組和業(yè)務線設計師、產(chǎn)品團隊共同參與。整體可分為三步走:
一是統(tǒng)一易用性度量的標準、行動指南,以指導易用性度量的全流程;
二是輸出專業(yè)的易用性度量報告;
三是通過系統(tǒng)化監(jiān)控和專項改進進行閉環(huán)管理。
圖| 易用性度量運作機制
下表是啟發(fā)式評估和易用性測試過程中會運用到的易用性度量量表工具,主要是讓專家和用戶反饋使用這款產(chǎn)品的真實感受,對易用性的每個細分指標:易操作性、易學性、易見性的表現(xiàn)進行評分。
表|易用性度量表
接著是一致性度量,一致性的常用度量方法為專家評估法,其具體實施步驟如下:
第一步是組織評測人員:招募3~5人組成專家組。需注意的是,被評測產(chǎn)品的設計師需回避;
第二步是制定評測計劃:劃定評估的范圍,建議一次性評估的功能不要太多;
第三步則是實施具體評測:在評估過程中,各位專家需獨立完成,避免討論溝通;
第四步為召開評測會議:讓評估人員依次講述評估發(fā)現(xiàn)并進行互動討論;
最后是總結評價結果:將所有評估結果進行去重和收斂,輸出結論建議。
圖| 專家評估法實施步驟
在運用專家評估法度量一致性的過程中,所運用的度量工具表為一致性度量量表,主要是讓專家對產(chǎn)品整體樣式、通用框架、常用場景及組件的細分指標的一致性表現(xiàn)進行評分。
表|一致性度量表
然后是滿意度度量。通用的滿意度度量量表框架如下,主要是對產(chǎn)品功能的易學性、易操作性、費力度等進行評價,但實際應用過程中應根據(jù)所度量對象適當調(diào)整量表內(nèi)容。
表|滿意度度量量表
任務效率為客觀行為數(shù)據(jù),需通過數(shù)據(jù)埋點與采集,進行用戶行為分析得到相關原始數(shù)據(jù),再根據(jù)指標定義公式計算相應的指標值。
性能度量指標為系統(tǒng)表現(xiàn)數(shù)據(jù),可通過數(shù)據(jù)埋點或從系統(tǒng)后臺拉取數(shù)據(jù),借助性能監(jiān)控系統(tǒng)實時監(jiān)控性能指標。企業(yè)可結合實際業(yè)務場景自行搭建性能監(jiān)控系統(tǒng),也可應用市場上成熟的 APM 類監(jiān)控產(chǎn)品,如阿里云的 ARMS( Application Real-Time Monitoring Service, 應用實時監(jiān)控服務 )。
圖 | ARMS 性能監(jiān)控效果圖
5. 體驗評分
介紹完 UES 的指標體系及相應的度量方法及工具后,則到了最后一步:如何根據(jù)搭建好的指標體系及獲取到的指標計算出產(chǎn)品或功能的體驗得分呢?
整體的原理是:一級指標得分為其所包含的二級指標的加權平均值,而測評總分由一級指標得分加權平均得到。測評總分計算公式如下:
式中,S 為測評總分,ai為第 i 個一級指標的得分,Wi為第 i 個一級指標的權重,n 為一級指標的數(shù)量。
對于權重的確定,阿里對 UES 模型的權重設計為:易用性和一致性 0.3,任務效率和性能 0.1, 滿意度 0.2。
但對于面向大企業(yè)的B端產(chǎn)品,該權重不一定適合照搬。那么如何根據(jù)實際的體驗度量對象確定指標的權重呢?
表 | 指標權重計算方法
此處歸納了常見的指標權重計算方法,主要有三類:主觀賦權法、客觀賦權法和綜合賦權法。
- 主觀賦權法是基于決策者的經(jīng)驗或偏好,通過對各指標重要性進行比較來賦權,比如專家評分法、優(yōu)序圖法、層次分析法等;
- 客觀賦權法是從實際數(shù)據(jù)出發(fā),利用各指標值所反映的客觀信息確定權重,比如熵權法、標準離差法等;
- 綜合賦權法則是將主觀賦權法和客觀賦權法相結合。
這里簡單介紹下實操性比較高的層次分析法和優(yōu)序圖法。
首先是層次分析法,該方法常被運用于多目標、多準則、多要素、多層次的非結構化的復雜決策問題,特別是戰(zhàn)略決策問題。
其優(yōu)點在于系統(tǒng)化、簡潔實用,且所需定量數(shù)據(jù)信息較少,但也存在缺點,比如說指標過多時,數(shù)據(jù)統(tǒng)計量大,且權重難以確定;特征值和特征向量的精確求法比較復雜。
該方法整體可分為三步:
一是基于問卷數(shù)據(jù)構造判斷矩陣。具體而言,由專家對同一層次內(nèi) n 個指標的相對重要性(兩兩因素之間)進行打分,標度范圍取 1-9 之間:
1 表示兩個指標具有相同重要性,3 表示兩個因素中,前者比后者稍重要,標度越高表示前者比后者的重要性程度越高。另外,若因素 i 與因素 j 的重要性之比為 aij,則因素 j 與因素 i 的重要性之比為 aij 的倒數(shù)。
根據(jù)相對重要性打分,即可構建判斷矩陣 A 。
第二步則是基于判斷矩陣計算權重,將矩陣 A 的各行向量進行幾何平均(方根法),然后進行歸一化,得到各評價指標權重和特征向量 W 。
最后一步為一致性檢驗。所謂一致性是指判斷思維的邏輯一致性(如當甲比丙是強烈重要,而乙比丙是稍微重要時,顯然甲一定比乙重要。這就是判斷思維的邏輯一致性,否則判斷就會有矛盾)。一致性檢驗是指確定不一致的允許范圍。通過一致性檢驗的權重值才是合理的。
可能層次分析法的權重計算和一致性檢驗原理比較復雜,但在實際應用過程中,可以利用市面上成熟的層次分析法工具來實現(xiàn),如元決策的 yaahp 軟件,導入問卷數(shù)據(jù),系統(tǒng)即可自動計算出相應的權重并進行一致性檢驗。
然后是優(yōu)序圖法,該方法非常適合在參與評估指標數(shù)量較多(如需評估的指標超過5個)的情況下使用。當指標數(shù)量較多時,優(yōu)序法的專家打分工作量相對較小,且簡單易實操。但該方法也存在一定的弊端,如未進行一致性檢驗或多輪驗證,權重數(shù)據(jù)的嚴謹性相對較差。
該方法整體可分為三步:
一是重要性打分,由每位專家獨立對問卷內(nèi)各指標進行重要性打分,并計算出各指標所有專家打分的平均分。
二是指標重要性比較,通過各指標的平均分,將不同指標間的平均分進行兩兩比較,其中,分數(shù)相同的計為 0.5,相對較大的記為 1,相對較小的記為 0,并將各指標比較的每行分數(shù)相加,得到各指標的優(yōu)序數(shù)(TTL)。
最后則是對 TTL 值進行歸一化處理,得到指標的權重值。
表|層次分析法和優(yōu)序圖法優(yōu)缺點比較
三、谷歌 HEART-GSM 模型介紹
HEART-GSM模型包括【5】+【3】兩個部分:5個用戶體驗度量維度和3個確定數(shù)據(jù)指標的步驟。
首先,代表5個用戶體驗度量維度的 HEART 模型由 Google 于 2010 年發(fā)表,是以用戶為中心的度量模型,涵蓋了用戶主客觀數(shù)據(jù)以及可用性指標,可用于大范圍的用戶體驗度量,五個維度分別為愉悅度、參與度、接受度、留存度和任務完成度。
- 愉悅度指的是用戶在使用過程中的主觀感受,主要包括可用性、易用性、視覺感受、滿意度、推薦意愿等維度;
- 參與度衡量的是用戶在產(chǎn)品/服務/功能中深度參與的表現(xiàn),如訪問頻次、訪問時長、互動深度或強度等;
- 接受度是針對新用戶的維度,統(tǒng)計有多少新用戶接受了產(chǎn)品、功能,如特定時期內(nèi)核心頁面的PV、UV,新功能的使用留存;
- 留存度是針對老用戶的維度,衡量現(xiàn)有用戶對產(chǎn)品的重復使用情況,常見指標如次日留存率、7日留存率等;
- 任務完成度指用戶在使用產(chǎn)品/服務/功能中能否順利完成目標任務的情況,包括任務完成率、任務完成效率、錯誤率等指標。
圖|HEART 模型五大維度
為了將這個抽象的度量標準應用于實踐,Google 又提出以“目標(Goal)——信號(Signal)——指標(Metric)”的拆解流程來定義 HEART 指標數(shù)據(jù),讓使用該模型的產(chǎn)品團隊,可以根據(jù)用戶體驗目標和業(yè)務目標,完成數(shù)據(jù)指標的選擇,最終保證指標是服務于業(yè)務目標和用戶體驗的。
這三個大步驟又可細分為五個小步驟,首先是梳理業(yè)務流程,分析確定產(chǎn)品目標或者體驗目標,接著,結合度量維度的定義和目標選取與實際業(yè)務流程貼合的度量維度,然后是選擇可以顯示目標成功或失敗的信號,最后是從信號中提取適當選擇的數(shù)據(jù)指標,并選取相應的度量方法進行追蹤。
圖|GSM 拆解流程
整體而言,HEART 模型的C 端傾向較明顯,并不完全適用于 B 端產(chǎn)品的體驗度量,比如說,由于 B 端產(chǎn)品的業(yè)務性質(zhì),用戶使用產(chǎn)品后較難因為個人使用的體驗而在參與度、留存度及任務完成度上體現(xiàn)出差異。
圖 | HEART-GSM 模型優(yōu)劣勢
可能會有小伙伴對信號跟指標的區(qū)別不太清晰,這里說下我的理解:
在 GSM 模型中,目標、信號、指標之間是承接的關系。確定目標從而判斷目標對應的信號,然后拆解為可量化的指標。信號是目標的分解,一個目標可以分解為多個信號(信號也可理解為目標對應的表現(xiàn),目標的成功或者失敗,如何作用在用戶的行為之中,哪些行為、感受可以說明目標已經(jīng)成功)。指標是信號的衡量標準,一個信號可以由多個指標來衡量。
舉個例子:
- 目標:智能搜索幫助用戶查詢結果;
- 信號:更多的用戶使用智能搜索 、用戶對搜索到的結果很滿意;
- 指標:點擊次數(shù)、滿意度。
四、螞蟻金服 PTECH 模型
以 HEART 度量模型為基礎,螞蟻金服根據(jù)企業(yè)級產(chǎn)品現(xiàn)狀和特征做了部分的補充和修正,推出了適用于企業(yè)級產(chǎn)品的 PTECH 模型。PTECH 模型與 HEART 模型的主要區(qū)別在于:
- 將 NPS 改成用戶主觀滿意度:NPS 對 C 類產(chǎn)品是一個很有效的指標,對于企業(yè)級中后臺來說,往往由于企業(yè)產(chǎn)品的封閉內(nèi)環(huán)、用戶基數(shù)等眾多原因,可能還是滿意度來的更加有效;
- 不強調(diào)留存率:企業(yè)級產(chǎn)品用戶往往沒有太多的可選余地,因此留存率未必適合用來衡量用戶對于產(chǎn)品的喜好;
- 參與度和接受度指標合并:對于企業(yè)級中后臺系統(tǒng),用戶使用的目標性更強,TA 就是來完成某個任務(或者說 TA 就是來完成工作的),因此活躍度基本和產(chǎn)品能否滿足用戶的需求強相關;
- 增加了清晰度。
圖| PTECH 模型框架
PTECH 模型通過馬斯洛需求金字塔理論推導出用戶體驗需要滿足的5個層次,分別對應度量框架的五個維度,做到了定量與定性全覆蓋。生理-安全-歸屬-尊重-自我實現(xiàn)五個層次分別對應:
- P——能用,這產(chǎn)品穩(wěn)定、無故障、性能好;
- T——有用,這產(chǎn)品能夠確定性地完成某些任務;
- E——常用,這產(chǎn)品滿足的是一個會被反復使用的真實訴求;
- C——好用,這是一個專業(yè)成熟、交互友好、功能清晰的產(chǎn)品;
- H——愛用,這是一個能讓用戶獲得滿足、成就感的產(chǎn)品。
圖 | PTECH 模型優(yōu)劣勢
以上就是本次文章的全部內(nèi)容啦,篇幅有些長,劃個重點回顧下吧~
五、劃重點
1)綜合主客觀指標的產(chǎn)品體驗度量模型主要包括:UES 模型、HEART-GSM 模型、PTECH 模型。
2)UES 模型為綜合運用主觀和客觀、定性和定量分析的度量體系,包含易用性、一致性、滿意度、任務效率和性能5個度量維度,適用于技術類 B 端(云)產(chǎn)品的體驗度量場景。
3)HEART-GSM 模型包括【5】+【3】兩個部分:5 個用戶體驗度量維度——愉悅度、參與度、接受度、留存度和任務完成度、3 個確定數(shù)據(jù)指標的步驟——目標(Goal)——信號(Signal)——指標(Metric)。
4)PTECH 模型是基于 HEART 模型修訂的,主要度量維度如下圖:
本文由 @Problemer 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉載
題圖來自Unsplash,基于CC0協(xié)議
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發(fā)揮!