阿里干貨|如何打造一份高質量的標準可用性問卷
問卷的質量是一次調研能否成功的關鍵步驟。那么,什么樣的問卷才是一份高質量的問卷呢?
提及用戶體驗研究的方法,大家都會脫口而出:定性與定量。
相比較定性研究中使用的那些五花八門各顯神通的方法,定量研究似乎顯得很單一,只有問卷法可用,而問卷調查法也似乎看上去并沒有那么有技術含量,于是,許多剛剛接觸到問卷法的小伙伴未免有這樣的誤解——問卷法真的是最簡單的方法了呢~就是問出自己想問的問題就好啦!
事實上真的這樣么?
同學,你真的是圖樣圖森破啊~
用戶研究,是想要知道用戶在想什么,注重的是和用戶的交流,但是問卷法調研大部分情況下,只有在發(fā)放問卷時和用戶有溝通。在用戶填答問卷過程中,作為研究者,一般是不參與整個過程的,那么就導致一個問題:當用戶無法理解問卷在問什么或者不知道針對問題如何回答時,用戶很可能就會放棄作答。于是,問卷的質量就成為了一次問卷調研能否成功的關鍵步驟。
什么樣的問卷才是一份高質量的問卷呢?
NO.1?主題明確,緊扣調研的主題
每次制作調研問卷前,都需要確定目標——明確知道「我們要調研什么」、「我們要從哪幾個方面調研」,之后所設計的問題,都必須是圍繞調查目的最必要的題目,可要可不要的題目最好不要列入問題。
NO.2?問題的陳述要簡潔、清楚,避免模糊信息
例如,某商場想要了解顧客大多使用什么品牌的洗發(fā)水,那么在詢問這一問題時,應該如何設問呢?
錯誤示例:請問您使用什么牌子的洗發(fā)水呢?
正確示例:請問您最近三個月使用什么牌子的洗發(fā)水呢?
很明顯,正確示例是一個清楚的問題,而錯誤示例則是一個附帶了模糊信息的問題。另外,提醒大家,在詢問中要避免專業(yè)術語哦。
NO.3?注意問題的嚴謹性
嚴謹性包括兩個方面,一是指設問的嚴謹性,即一個問題只包含一項內(nèi)容,再者還指所涉及的答案選項能包括被訪者的所有情況。
錯誤示例一:對于XX牌洗發(fā)水的包裝與味道,您是否喜歡呢?
錯誤示例二:使用XX后,你的XX問題是否得到了改善?A:沒有 B:改善了
示例一的錯誤在于,一次詢問了被訪者兩個問題,而示例二的錯誤在于,受訪者可能沒有使用過XX,這樣就無法做出回答,所以應該再加一個「沒有使用過XX」的選項。
NO.4?最好不用反疑問句,避免使用否定句
詢問問題的方式要恰當,平白直敘的疑問句,能夠獲得受訪者更直接的答案哦。
NO.5?避免使用引導性的語句
錯誤示例:大家都覺得XX很好,你覺得呢?
這樣的問題很容易引起從眾效應,可能受訪者并不喜歡XX,但是看到題目里「大家都覺得XX好」,就會選擇和大家一致的觀點。類似的錯誤還包括權威效應??傊?,一切具有暗示性和引導性的表達,都不應該出現(xiàn)在你的問卷里哦。
NO.6?注意問題的排序
一個問卷大多是由許多問題構成的,那么這些問題的排列也是有一定的講究的。問卷項目的排列要有一定的邏輯次序,層次分明。一般而言,問卷的問題排列按照以下的標準:
熟悉問題在前,生疏問題在后;簡單易答問題在前,復雜難答問題在后;泛指問題在前,特定問題在后;感興趣的問題在前,顧慮緊張的問題在后;行為問題在前,態(tài)度問題在后;封閉式問題在前,開放式問題在后。
NO.7?注意問卷的長度
一個好的用戶研究問卷,需要控制它的長度,超過20分鐘答題時間,會讓受訪者感受到焦躁的情緒,從而放棄回答或者是隨意填寫,這樣,我們問卷的有效性便要打個大大的折扣。
小編總結了一下綜上觀點,其實就是:主題明確,提問科學,排列有序,容量適度。
總而言之,記住十六字真言,編制出一份優(yōu)秀的問卷吧。
問卷調研是用戶研究中的重要方法,除了研究者自己來編制問卷之外,還可以直接使用成型的標準化問卷。由于標準化問卷是對特定問題的測量,所以,問卷標準化的前提是,這一問題有著穩(wěn)定的內(nèi)核,為了方便大家更好的理解,我們將從可用性問卷這一分支,為大家介紹標準化問卷。
什么是標準化問卷
標準化問卷是對特定問題使用特定的格式按照特定的順序呈現(xiàn)的可重復使用問卷,對于用戶的回答,也有特定的計算方法和規(guī)則。簡單而言,標準化問卷是對某一特定問題的重復使用問卷。
那么,如果我編寫一份問卷來收集用戶的滿意度反饋,這份問卷每個月都用,這份問卷能稱為標準化問卷么?答案是否定的。為了保證標準化問卷能夠滿足重復使用的需求,問卷需要經(jīng)過心理測量的條件審查:提供問卷的信度和效度。
- 信度——測量一致性。它衡量的指標是:對同一對象測量得到的結果是否一致。一般信度的評估包括重復測量信度和分半信度,最常見的方法是用 α 系數(shù)來測量內(nèi)部一致性。信度范圍在 0 到 1 之間,對于問卷的信度,并沒有固定的要求,不同內(nèi)容的問卷對信度的要求不一樣,但是,那些有著重要影響的問卷,例如 IQ 測試等,我們對其信度要求高,一般達到 0.9 以上,而一些其他的問卷,信度要求 0.7 以上就能夠接受
- 效度——測量有效性。它衡量著問卷是否有效的測量了所要關注的問題。一般效度評估包括效標效度和內(nèi)容效度。效標效度一般用皮爾遜相關來測量,而內(nèi)容效度則需要使用因子分析。
信度和效度是有明確指數(shù)的,除此之外,還有一些其他的間接的輔助值來衡量一份標準化問卷的質量。例如靈敏度——不同條件結果比較時達到統(tǒng)計顯著性所需的最小樣本量。
正是因為有這些標準來規(guī)范標準化問卷,使得標準化問卷在研究中有著非常明顯的優(yōu)點:
- 客觀性:標準化測量具有客觀性,它允許我們獨立驗證其他研究者的測量報告,也就是說,在完全同樣的條件下,使用者A和使用者B使用問卷得出的結果是一致的,他不受使用者主觀意愿的影響,結果不僅是使用者的個人判斷。
- 重復性:使用標準化問卷可重復別人或者自己的研究,這樣,可以驗證研究是否真正有效。更重要的是,節(jié)省研究者時間。
- 可量化:可以使用高效的統(tǒng)計學方法來更好的理解結果,并且結果之間可以進行對比,從數(shù)據(jù)的角度看到差別
由此可見,一份標準化問卷的開發(fā)需要大量的專業(yè)人員花費大量的時間和精力,但是,一旦開發(fā)成型,能給使用者帶來很大的方便。
廣泛應用的標準化可用性問卷
用戶體驗是近些年大熱的概念,可用性的概念也隨著互聯(lián)網(wǎng)的發(fā)展變得眾所周知,不過,關于可用性的研究,可不是最近才有的哦,上世紀 90 年代,就陸續(xù)出現(xiàn)了許多標準化的可用性問卷。這些問卷既有用于整體研究后的,也有用于每個任務后的。接下來,跟大家介紹一個問卷實例:SUS (軟件可用性問卷)——整體評估問卷。
之所以在眾多整體評估問卷中選擇了這個問卷來介紹,是因為這個問卷有非常多的優(yōu)點,最主要的包括:1.相關介紹多 ?2.題少 ?3.免費?。?!特別是免費,要知道,跟商業(yè)使用費 750 刀(對,沒寫錯……)的 QUIS (用戶交互滿意度問卷)和 500 歐的 SUMI (軟件可用性測試問卷)相比,免費的 SUS 真是,太可愛了!
SUS 問卷歷史悠久,作者 John Brooke 在 1986 年正式將其發(fā)表,問卷一共有 10 道題目,采用 5 分制,包含正面描述題 5 道(1、3、5、7、9題),和反面描述題5道(2、4、6、8、10),來詢問用戶對表述是否認同,具體題目如下:
中文版翻譯之后為:
- 我愿意使用這個系統(tǒng)
- 我發(fā)現(xiàn)這個系統(tǒng)過于復雜
- 我認為這個系統(tǒng)用起來很容易
- 我認為我需要專業(yè)人員的幫助才能使用這個系統(tǒng)
- 我發(fā)現(xiàn)系統(tǒng)里的各項產(chǎn)品很好地整合在一起了
- 我認為系統(tǒng)中存在大量的不一致
- 我能想象大部分人都能快速學會使用該系統(tǒng)
- 為認為這個系統(tǒng)使用起來很麻煩
- 使用這個系統(tǒng)時我覺得非常有信心
- 在使用這個系統(tǒng)之前我需要大量的學習
如果用戶沒有完成某道題目,則視為選擇中間項。
問卷看似簡單,但是,問卷的信度可不低哦,連編制者都自嘲「快速而粗糙」的 SUS 量表在較大樣本(324個樣本)情況下信度達到 0.92。所以,不用擔心這一問卷的可靠程度。
回收問卷后,要對該問卷進行計算,該問卷是 5 分制分布,但是計算方式略為復雜,它是一個滿分為 100 分的問卷。具體算法為:
- 計算正面描述題(奇數(shù)題)得分:轉換分=選項值 – 1
- 計算反面描述題(偶數(shù)題)得分:轉換分=5 – 選項分
- 計算總分:總分=所有轉換分之和×2.5
這樣,最終的計算結果就是一個介于 0 至 100 的數(shù)字。100 表示用戶體驗最佳,0 表示用戶體驗最差。具體值代表什么一直有爭議,直到 2009 年,Bangor 等人通過分級量表對得分進行了解釋:0-50 為”F”,60-69 為”D”,70-79 為”C”,80-89 為”B”,90 以上為”A”,每個分數(shù)有其對應的等級。一般而言,低于 60 分,說明產(chǎn)品的可用性非常差。
這樣,利用可用性測試問卷,我們就可以了解一個產(chǎn)品的可用性程度,并對不同產(chǎn)品間進行對比。
譯者:福巧
來源:微信公眾號:37.2度體驗
我承認你寫的很好,夠仔細,想必在大公司的垂直化領域有一定的研究,可是讓一個產(chǎn)品去做這樣的事真的太難了,套用一個簡單合理可信的問卷模版其實就可以了,文中提及的很多維度或許很有意義,但是實際上產(chǎn)品投入市場后的情景不是一份問卷調查就能夠解決的,縱觀全局,唯有敏捷開發(fā)才能適應現(xiàn)在的節(jié)奏,簡單的問卷(不需要這么精準)——想法成立——產(chǎn)品或功能上線——數(shù)據(jù)跟蹤——放棄或繼續(xù),只有在實戰(zhàn)中能存活下來的才是王道,如果按照這個問卷的節(jié)奏往下走,一個問卷估計要搞一個月,個人認為不值當
作為一個合格的產(chǎn)品經(jīng)理,首先需求研究一開始就至關重要。但是考慮到現(xiàn)實實際情況,制作這樣一份問卷,成本和效率就是個讓人頭疼的問題。
正確設計問卷不是容易的事情
這東西看上去很簡單,然而卻很多人都不會做。