圍繞設計驗證,解析定量分析的用途與用法
設計驗證不僅能夠讓設計流程變得更加圓滿,也能讓設計方案更有說服力。本文將對設計驗證中定量分析的用途與用法進行詳細介紹。
本文以蘇寧集團大數(shù)據(jù)中心“慧眼”項目的改版為例,圍繞設計驗證淺談定量分析的用途與用法:設計驗證、定性與定量的概念與關系,以及為什么選擇定量分析。
- 以項目為例,簡述改版經(jīng)過,并引出設計驗證的分析源頭(可能存在的問題);
- 以項目中的頁面為例,簡述定量分析的做法與流程(GSM模型);
- 以頁面中的任務為例,簡述衡量指標的用法;
- 一些需要考慮的問題。
▲本文內容大綱
一、源起
每一個項目都離不開“需求-設計-開發(fā)-上線-再需求-再設計……”這樣的衍進路徑。
在這樣的無限循環(huán)中,大量工作都有賴于產(chǎn)品、設計、開發(fā)、測試等崗位成員的項目經(jīng)驗,只要任一環(huán)節(jié)出現(xiàn)問題都會導致嚴重的后果。
如何優(yōu)化這樣的流程呢?對于設計師而言,增加設計驗證是其中一種行之有效的辦法。(死亡螺旋模型與部分優(yōu)化方法如下圖所示)
▲死亡螺旋
1.1 什么是設計驗證
設計是藝術與技術的結合?!浪?/p>
當設計稿交付之后,設計師的工作看似已經(jīng)結束,但在一個完整的項目流程中,還遠沒有完成。
除了落地后的視覺走查,設計師也可以關注下設計方案在上線后是否達到了項目初期所設定的各項指標,如PV、UV、IP等。
達到預期的,設計師可以總結設計經(jīng)驗用以提升未來的設計準確率;發(fā)現(xiàn)問題的,也可以分析方案的缺陷,在下次改版當中進行優(yōu)化。而這樣的一個環(huán)節(jié)就是設計驗證。
▲設計驗證改善流程
1.2 什么是定量分析
設計驗證可以分為定性分析與定量分析。
定性分析是源于社會科學的一種研究方法,通過“是什么”、“怎么樣”、“為什么”等主觀性問題進行分析。
定性分析憑借分析者的直覺和經(jīng)驗,通過分析過去、現(xiàn)在的延續(xù)狀況及最新的信息資料,對分析對象的性質、特點、發(fā)展變化規(guī)律作出判斷的一種方法。
定量分析則是源于數(shù)學的一種研究方法,通過“做了什么”、“做了多少次”、“花了多長時間”等客觀性問題進行分析。定量分析既重視觀察實驗、收集經(jīng)驗資料,又重視邏輯思維演繹推理,應用假說使得觀察實驗方法和數(shù)學演繹形式結合起來。
常用的分析方法如下圖所示:
▲用戶研究方法
定性分析與定量分析應該是統(tǒng)一的,相互補充的;定性分析是定量分析的基本前提,沒有定性的定量是一種盲目的、毫無價值的定量;定量分析使定性分析更加科學、準確,它可以促使定性分析得出廣泛而深入的結論。
本文主要談一談定量分析的做法與用法。為什么選擇定量而非定性進行研究呢?是因為蘇寧擁有大量的操作信息能夠有效的提高數(shù)據(jù)可信度,同時定量分析也可以通過項目初期所設定的各項指標快速完成。
二、慧眼項目的界面衍進
2.1 慧眼項目介紹與用戶訴求的衍進
以前蘇寧有著多個數(shù)據(jù)分析產(chǎn)品,數(shù)據(jù)分析師們需要打開多個產(chǎn)品頁面才能完成日常的工作,而慧眼就是為了解決這一問題的。
慧眼以蘇寧唯一的數(shù)據(jù)門戶為目標,以整合集團所有數(shù)據(jù)分析產(chǎn)品的資源為途徑,力求將所有數(shù)據(jù)集合展示在一起,以此大大提高業(yè)務用戶的工作效率。
上線一段時間后發(fā)現(xiàn),作為數(shù)據(jù)門戶,慧眼在主要用以展示數(shù)據(jù)的模塊里,大量的空間被導航所占用,而數(shù)據(jù)展示的區(qū)域則相對較小,影響了觀看體驗。因此在此次改版中,擴大各模塊中的數(shù)據(jù)看板面積就成了最主要的需求。
2.2 界面樣式的衍進
以“我的必看”為例,初版慧眼頁面中數(shù)據(jù)看板僅占整體頁面的46.3%面積。
▲慧眼頁面初版
為了完成此次改版的主要需求,擴大數(shù)據(jù)看板的最直接方法其實就是隱藏,即將看板以外的其他模塊盡可能的隱藏起來,這就是方案一的設計思路:
- 用戶進入我的必看時自動隱藏左側的二級導航;
- 為報表列表區(qū)域增加隱藏/展開功能,用戶點擊隱藏收起列表區(qū)域;點擊展開頁面回到布局的初始狀態(tài)。
方案一
通過釋放二級導航和隱藏報表列表增加展示面積,好處在于頁面整體框架沒有大的變動,改版成本較低。
經(jīng)過計算可知,方案一將數(shù)據(jù)看板的面積從原有的46.3%提升到了58.4%和69.4%的占比。具體改動后的示意圖如下所示:
▲慧眼頁面優(yōu)化方案一
但方案一仍然沒有最大化數(shù)據(jù)看板的可用面積,為了進一步探索擴大的方案,在方案二中首先從慧眼的結構梳理入手。
如下圖所示,在“我的必看”中,根據(jù)功能不同頁面可以分為導航區(qū)域(綠色)與查看報表區(qū)域(橘色):導航區(qū)域由一級導航、二級導航、面包屑組成;查看報表區(qū)域由篩選分析主題一、篩選分析主題二、報表查詢、報表列表、數(shù)據(jù)看板、輔助功能區(qū)組成。
▲慧眼頁面優(yōu)化方案二
慧眼的設計定位是數(shù)據(jù)門戶,在衡量了產(chǎn)品整體框架、用戶操作習慣、并橫向對比了其他門戶網(wǎng)站,對導航區(qū)域作出3步調整:
- 將頁面導航區(qū)域中的二級導航整合到頂部的一級導航中;
- 去掉面包屑導航:因為報表名稱在該頁面中重復出現(xiàn)有三次,分別位于面包屑、報表列表、報表三處,所以保留親密性最強的報表處名稱;
- 在頂部菜單Logo處右側增加定位:因為面包屑去掉后,用戶可能會當前頁面的位置產(chǎn)生困惑,所以在一級導航上增加定位信息。
▲ 慧眼導航區(qū)域新版
除了導航區(qū)域的調整,針對查看報表區(qū)域的結構梳理則主要根據(jù)功能重要性、使用人數(shù)、使用頻次這三個維度進行,此區(qū)域下的功能被分出了三重優(yōu)先級:
▲慧眼報表區(qū)域優(yōu)先級
根據(jù)此優(yōu)先級,在方案二中將二級優(yōu)先級中的內容整合在一起,并以懸浮窗的形式固定在頁面左側。用戶進入我的必看后,頁面初始樣式如下所示。
▲慧眼頁面方案二——頁面初始樣式
當用戶需要打開報表時,將鼠標移入篩選主題區(qū)域,二級優(yōu)先級內容展開顯示;鼠標移出,再次回到初始布局樣式。按照此方案調整,數(shù)據(jù)看板的面積將達到90.9%的占比。
▲方案二 慧眼頁面方案二—— 鼠標移入篩選主題區(qū)域樣式
2.3 可能存在的問題
方案二的面積占比已經(jīng)大大滿足了本次改版的主要需求,但相應的調整也會產(chǎn)生一定的影響。
比如報表列表被折疊后,當用戶想要打開一張新報表時就會產(chǎn)生“怎么打開”“去哪打開”的疑惑,這種疑惑是否會影響任務的完成度或完成效率?這種變化具體會產(chǎn)生怎樣的影響?變化的程度是否可以接受?
這一系列問題都可以在設計驗證環(huán)節(jié)通過定量分析的方式落實到具體指標進行衡量。
三、設計驗證的應用
3.1 慧眼的用戶體驗目標
慧眼的整體目標是作為蘇寧集團內部唯一的數(shù)據(jù)門戶,為用戶提供統(tǒng)一的看數(shù)平臺,不斷提升業(yè)務用戶日常數(shù)據(jù)分析效率。而此次改版的顯性需求是解決報表顯示區(qū)域不夠大的問題,但隱性需求則是在此前提下盡量不降低其他區(qū)域的使用體驗。在設計與設計驗證時,都需要圍繞這些目標進行。
用戶體驗目標能夠在設計與設計驗證環(huán)節(jié)提出指導意見,同時也能在定量分析的推導方向上產(chǎn)生定性作用。
3.2 定量分析的指標推導
掌握了產(chǎn)品的用戶體驗目標,就可以通過一些方法模型推導出定量分析所需要的衡量指標,而GSM就是被廣泛使用的一種模型。
什么是GSM呢?GSM是Google的用戶體驗團隊提出的一種量化用戶體驗的分析模型。GSM是目標(Goal)、信號(Signal)、指標(Metric)三者的英文首字母。目標,即設計目標,是需要通過設計手段解決的問題;信號,即現(xiàn)象信號,是用戶會出現(xiàn)的行為方式;指標,即衡量指標,是基于設計目標,將用戶行為量化為可衡量的指標。
因此GSM就是一種通過目標(Goal)→信號(Signal)→指標(Metric)的推導路徑將本身抽象的目標轉化為具象的指標的分析模型。
▲方案二 GSM模型
如何運用GSM分析模型呢?我們可以圍繞產(chǎn)品的用戶體驗目標,假定用戶能夠完成這些目標,在此情況下用戶行為會出現(xiàn)什么表現(xiàn)與信號,列舉并選出價值高且能夠收集的部分,將信號轉化為數(shù)據(jù)項,也就得到了相應的衡量指標。
當然如果假定用戶無法完成目標,也可以分析得出相應的指標。在做設計驗證時我們可以優(yōu)先從任務成功、任務時間、錯誤、效率、易學性這5個方向進行分析:
▲5個常見的用戶體驗指標
當然除了這種以具體任務為目標通過模型推導的指標,改版對訪問數(shù)、獨立訪客、獨立IP、網(wǎng)站訪問量等指標的影響也是定量分析中重要的組成部分。
3.3 指標的用途與用法
以方案二中“打開新報表”這一任務為例,運用GSM模型可以推導出的相應現(xiàn)象信號與衡量指標,如下所示:
▲指標的操作定義
以其中一項“任務時間→用戶在哪個環(huán)節(jié)花費時間最久”為例,這一任務可以拆分為下圖所示的操作節(jié)點與流程。
▲任務操作流程拆分
那么任務時間在節(jié)點與流程中起到什么樣的分析用途呢?首先用戶進入此頁面后,會打開默認主題下的默認報表,所以完美狀態(tài)下用戶進入此模塊默認打開的報表就是用戶最需要查看和分析的報表。
因此當用戶在下圖所示的環(huán)節(jié)中的停留時間較短,即進入頁面后馬上準備打開新報表或切換新主題,就可以考慮是否默認主題或主題下的默認報表不夠準確。
其次如果下圖所示的幾個環(huán)節(jié)停留時間較長,則需要考慮用戶在查找對應報表時是否存在困惑。
例如,是否當前主題下報表較多,不好找到對應報表;是否不知道報表在具體哪一個分析主題下。
當然如下圖所示的幾個環(huán)節(jié)雖然在上一流程中已經(jīng)存在,但這種操作通常意味著錯誤的存在。雖然記錄“任務時間”同樣有助于定量分析,但在此情況下記錄“點擊次數(shù)”的成本會遠小于任務時間,所以建議下圖的流程放在“錯誤”模型中進行分析。
當通過設計驗證發(fā)現(xiàn)問題后就可以在改版中進行設計優(yōu)化。
舉例來說,如果默認的推薦報表并不準確時,可以通過設定告警的方式提醒報表配置人員提前調整默認報表;或者在離開頁面時保留瀏覽記錄并在下次進入時自動打開。
如果用戶在查找對應報表時存在困惑,可以減少當前主題下報表數(shù)量或者對報表增加自定義排序功能等??梢园l(fā)現(xiàn)設計驗證在衡量設計方案的優(yōu)劣與指導體驗設計優(yōu)化上都有著重要的作用。
3.4 指標數(shù)據(jù)的可信程度
在分析獲得的指標數(shù)據(jù)后,常會出現(xiàn)一個疑惑,即如果用戶操作到一半時突然被其他事中斷了,這種情況就會出現(xiàn)一個異常指標(即離群值,如下圖所示)。
如果將這種異常指標也同樣摻雜起來進行分析,得出的結果就會出現(xiàn)偏差,在這種情況下可以引入置信區(qū)間的概念。
▲置信區(qū)間
置信區(qū)間是指由樣本統(tǒng)計量所構造的總體參數(shù)的估計區(qū)間。一個概率樣本的置信區(qū)間是對這個樣本的某個總體參數(shù)的區(qū)間估計。
置信區(qū)間展現(xiàn)的是這個參數(shù)的真實值在一定概率上的可信程度,但對此本文就不再展開了。
總結
本文通過對設計思路衍進過程的描述引出設計驗證中定量分析的用途與用法。
設計驗證作為設計中不可缺少的一塊拼圖,能夠讓設計流程變得更加圓滿,同時也能讓設計方案更有說服力。而定量分析通過對具體指標數(shù)據(jù)的對比和分析,能夠幫助設計師判斷或預測設計方案的合理性,也能夠為方案的說服力提供堅定的后盾。
篇幅所限,本文也有部分內容闡述的較為概括。例如界面的衍進并沒有給出完整的設計背景;分析模型推導出的指標價值與效率是不同的;指標在開發(fā)過程中產(chǎn)生的成本也大不相同,這些問題希望能夠通過接下來的文章分別予以闡述。
希望通過本文能夠讓更多相關領域的朋友對設計驗證環(huán)節(jié)與定量分析的用途用法產(chǎn)生興趣并引起重視。
作者:董一男,IT總部大數(shù)據(jù)中心 設計經(jīng)理,「特長」不會用戶研究的數(shù)據(jù)分析專家不是好攝影師,「屬性」能抗能打的“小金剛”,「愛好」玩跨界
本文由@董一男 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉載
題圖來自Unsplash,基于CC0協(xié)議
蘇寧UED官方公眾號:蘇寧易購用戶體驗(snygued)
蘇寧UED官方公眾號更名為:蘇寧設計
請問文中置信區(qū)間算出來有沒有結論?是什么結論?有沒有詳細的解釋置信區(qū)間 到 可信程度的計算過程?
舉例來講,置信區(qū)間最終的描述性結論可以為:“該任務的總體平均完成時間為30±2秒,數(shù)據(jù)可信度為95%。”該描述可以運用在分析結論中,用以增強報告的嚴謹性和可靠性。
除此之外,也可以用在研究結論的可視化圖表(或者數(shù)據(jù)監(jiān)控)中。去掉異常值后,可視化圖表的閱讀性會大大增強,原因可參考文中兩張圖片。
常用對置信水平有99%、95%、90%,具體選用哪種水平主要取決于你希望對數(shù)據(jù)的把握程度。
置信區(qū)間的具體使用方法可以參照Excel中Confidence函數(shù)
請問這個黃色的點是根據(jù)什么打出來的
圓點都是獲得的數(shù)據(jù)在坐標軸上的具現(xiàn),黃色是正常數(shù)據(jù),紅色為異常數(shù)據(jù)。而如何判斷獲得的數(shù)據(jù)哪些是“正常數(shù)據(jù)”,哪些為“異常數(shù)據(jù)”就需要依賴置信區(qū)間的算式去計算。
舉例來說
1. 坐標:假設X軸為操作時長,Y軸為點擊次數(shù);
2. 事件:如果員工甲操作時突然出去開會,會后繼續(xù)未完的操作
3. 結果:則會得到一個點擊數(shù)正常但操作時長超長的值
3. 現(xiàn)象:即圖中的紅點位置。
厲害