在工作和生活中，有時(shí)說話對象的說話順序不同，會很大程度上影響人們的判斷，這就是“順序效應(yīng)”，這類“順序效應(yīng)”也出現(xiàn)在了問卷調(diào)查場景中。那么，“順序效應(yīng)”會影響NPS得分嗎？一起來看看作者的解讀。

試想一下，當(dāng)你辛辛苦苦排了一個(gè)小時(shí)的隊(duì)進(jìn)到餐廳，坐下正準(zhǔn)備點(diǎn)你最愛吃的宮保雞丁時(shí)，服務(wù)員跟你說：

“我們的招牌菜是蒜蓉粉絲蝦，今天打8折?！?/p>

“宮保雞丁已經(jīng)賣完了?！?/p>

你會不會很失落，甚至有點(diǎn)想換家店吃？

但如果將這兩句話的順序調(diào)換一下，你的情緒和想法會有所變化嗎？這會不會讓你產(chǎn)生“失而復(fù)得”的感覺，幫助沖淡一些“壞消息”帶來的沖擊？

研究告訴我們，說話順序不同，的確會影響人們的想法和判斷，也就是順序效應(yīng)（Order Effects）—— 一種事物呈現(xiàn)的順序會影響人們判斷的現(xiàn)象，它出現(xiàn)在我們生活當(dāng)中的很多方面。

問卷調(diào)查中同樣也存在順序效應(yīng)。一些研究發(fā)現(xiàn)，問卷中某些題目或選項(xiàng)的排列順序會對受訪者的答案產(chǎn)生影響。

那么，具體都有哪些題目會受到順序效應(yīng)的影響？在測量經(jīng)典體驗(yàn)指標(biāo)NPS（凈推薦值）時(shí)，NPS題目在問卷中出現(xiàn)的先后順序又是否會影響人們打分的最終結(jié)果？本篇文章讓我們來共同探討一下。

一、為什么順序效應(yīng)會出現(xiàn)在問卷調(diào)查當(dāng)中？

在問卷調(diào)查中出現(xiàn)順序效應(yīng)的原因，有以下兩種可能：

1. 在填答問卷時(shí)，受訪者受到前面題目的“引導(dǎo)”，繼而對后面的填答造成了影響；
2. 受訪者希望在問卷調(diào)查中保持答案的一致性（至少看起來一致），并避免“認(rèn)知失調(diào)”。

認(rèn)知失調(diào)（Cognitive Dissonance）闡述了人的態(tài)度變化過程，認(rèn)為個(gè)體對事物的態(tài)度和行為間應(yīng)該是一致的，如果不一致就會產(chǎn)生認(rèn)知失調(diào)，并會導(dǎo)致心里緊張，人就會通過改變認(rèn)知或行為來重新達(dá)到平衡。

也就是說，如果受訪者在填答問卷時(shí)，對某一看法非常認(rèn)同，即使他們本身并不那么認(rèn)同另一個(gè)問題，順序效應(yīng)可能也會促使他們認(rèn)同。更微妙的是，一些負(fù)面或正面的問題措辭，也會使受訪者產(chǎn)生不同的想法，從而影響他們的答案。

美國社會學(xué)家霍華德·舒曼和斯坦利·普雷斯特在其著作 Questions and Answers in Attitude Surveys 中指出，順序效應(yīng)在問卷中的出現(xiàn)次數(shù)不算普遍，但已經(jīng)有足夠的實(shí)例表明這種現(xiàn)象并不罕見。

二、總體-具體問題順序效應(yīng)

為了更深入地了解問卷中的順序效應(yīng)，我們可以先了解它的一種表現(xiàn)形式——總體-具體順序效應(yīng)（General-Specific Order Effect），即總體問題（如“你對你生活的總體滿意度如何？”）與具體問題（如“你對你的婚姻/工作滿意度如何？”）之間的先后順序會對題目的相關(guān)性和平均得分產(chǎn)生影響。

相關(guān)性是指2道題目之間的關(guān)聯(lián)程度；而平均得分是指該道題目分?jǐn)?shù)的平均值。

2012年，在美國心理學(xué)教授塞斯·卡普蘭的研究中，通過在兩組調(diào)查中（分別為美國6000名軍人的總體滿意度分析和88位普通職工的工作滿意度分析）將總體問題和具體問題的順序進(jìn)行調(diào)換，他發(fā)現(xiàn)，當(dāng)總體問題排在具體問題的前面時(shí)，題目的平均得分較低，但相關(guān)性較高。

上述調(diào)查的總體問題為“你對你工作的總體滿意度如何”；具體問題為“請給你的工作時(shí)長進(jìn)行滿意度打分”。

而在另一項(xiàng)由市場研究教授Seigyoung Auh負(fù)責(zé)的研究（針對191名客戶對他們理發(fā)師的滿意度調(diào)研）中，他們發(fā)現(xiàn)，當(dāng)把詢問總體滿意度的題目放在問卷最前面時(shí)，題目的平均得分會更低（約6%）。

但是，如果把具體題目（如“您在多大程度上同意‘我的理發(fā)師技藝非常高超’這句話？”）放在總體題目（如“您在多大程度上同意‘總體來說我對我的理發(fā)師很滿意’這句話？”）的前面時(shí)，總體題目的得分會更高，因?yàn)檫@樣的排序可能會使題目具備更高的相關(guān)性。如果調(diào)查領(lǐng)域是涉及電腦或者一些昂貴的家用電器，建議先問具體題目，再問總體題目，這樣的話會讓答題者感到更自然流暢。

雖然上述兩項(xiàng)研究得出的結(jié)果不盡相同，但都證明了順序效應(yīng)是確實(shí)存在的。

三、NPS問題的順序效應(yīng)

現(xiàn)在，針對“客戶體驗(yàn)的順序效應(yīng)”的研究還不是很多，例如哲學(xué)教授詹姆斯·劉易斯早前研究了順序效應(yīng)對可用性態(tài)度的影響，但在SUS、UMUX和CSUQ這三類問卷當(dāng)中并沒有發(fā)現(xiàn)明顯的順序效應(yīng)。

• SUS ——系統(tǒng)可用性量表
• UMUX ——用戶體驗(yàn)的可用性指標(biāo)
• CSUQ ——電腦系統(tǒng)可用性問卷

在NPS方面，至少有CX專家Adam Ramshaw的一份研究報(bào)告可以證明，相較于在問卷后期提出NPS的相關(guān)問題，當(dāng)NPS問題出現(xiàn)在問卷前期時(shí)，分?jǐn)?shù)會更高。但該報(bào)告并沒有給出具體數(shù)據(jù)表明，會造成多大程度的影響。

同時(shí)，在包含NPS問題的SUPR-Q問卷中, UX專家赫弗南發(fā)現(xiàn)，如果在完成其他7道SUPR-Q題目后，再向受訪者提問NPS的相關(guān)問題，最終得到的NPS分?jǐn)?shù)會下降。但目前還不清楚，這種影響是一頁一題的呈現(xiàn)模式導(dǎo)致，還是網(wǎng)絡(luò)調(diào)查的高流失率引起的。

SUPR-Q問卷，即Standardized Universal Percentile Rank Questionnaire（標(biāo)準(zhǔn)化用戶體驗(yàn)百分等級問卷），用于評估網(wǎng)站的感知可用性，考察維度包括可用性、可信度、外觀及忠誠度。一般包括以下7道題目：

1. 網(wǎng)站使用起來很簡單
2. 網(wǎng)站內(nèi)導(dǎo)航清晰
3. 我感覺從該網(wǎng)站上購買東西很放心
4. 我有信心從該網(wǎng)站發(fā)展自己的業(yè)務(wù)
5. 網(wǎng)站設(shè)計(jì)非常吸引人
6. 網(wǎng)站介紹簡潔明了
7. 我未來還會再次登陸這個(gè)網(wǎng)站

因此，關(guān)于NPS是否會受到順序效應(yīng)的影響，我們還需要進(jìn)一步探究：

研究1：NPS問題的先后位置會影響其最終得分嗎？

2018年11月，杰夫·索羅博士（以下簡稱博士）對2674名受訪者進(jìn)行了在線調(diào)查。博士先讓受訪者回想最近推薦過的產(chǎn)品或服務(wù)，接著又詢問了他們向朋友或同事推薦這一產(chǎn)品或服務(wù)的可能性有多大。下面，我們將這類與“推薦可能性”相關(guān)的問題統(tǒng)稱為NPS問題。

博士將NPS問題出現(xiàn)的位置設(shè)置為研究的自變量，出現(xiàn)的位置分別在問卷的前期（在40道題目之后）或后期（在72道題目之后）。為此，博士創(chuàng)建了多組問卷，每批受訪者將交替看到在不同位置出現(xiàn)的NPS問題。

結(jié)果發(fā)現(xiàn)，調(diào)整NPS問題出現(xiàn)的先后位置并不會產(chǎn)生順序效應(yīng)：

1. 通過計(jì)算兩組的NPS平均得分，得出兩組的分?jǐn)?shù)分別為8.8和8.9，兩組之間僅有0.1分的差異，且無統(tǒng)計(jì)學(xué)意義（P=9）。

P值代表概率，反映某一事件發(fā)生的可能性大小。統(tǒng)計(jì)學(xué)根據(jù)顯著性檢驗(yàn)方法得到P值，P值越小，統(tǒng)計(jì)學(xué)差異越顯著，一般認(rèn)為P<0.05 有統(tǒng)計(jì)學(xué)差異。

2. 在統(tǒng)計(jì)受訪者每個(gè)選項(xiàng)得分的數(shù)據(jù)時(shí)，各個(gè)選項(xiàng)的NPS得分的百分比也非常接近（如下圖所示），這表明其他選項(xiàng)的得分也沒有受到影響。

圖：兩組的NPS選項(xiàng)得分統(tǒng)計(jì)表

為了進(jìn)一步探究，博士還統(tǒng)計(jì)并比較了亞馬遜、沃爾瑪、易貝、塔吉特、Spotify和Hulu這6家企業(yè)的NPS得分，而后發(fā)現(xiàn)，當(dāng)NPS問題出現(xiàn)在問卷前期時(shí)，一半企業(yè)的NPS值較高；而當(dāng)NPS問題出現(xiàn)在問卷后期時(shí)，另一半的企業(yè)得分較高。也就是說，基于NPS問題出現(xiàn)的時(shí)間，沒有統(tǒng)計(jì)學(xué)差異，甚至沒有可辨別的模式（如下圖）。

圖：各公司的NPS得分統(tǒng)計(jì)表

研究2：在SUPR-Q問卷中，NPS問題的先后位置會影響其得分嗎？

在另一研究中，博士探究了SUPR-Q問卷中NPS問題的先后位置對其分?jǐn)?shù)的影響。

研究收集了501名受訪者的數(shù)據(jù)（2018年10-11月），受訪者被要求先在6個(gè)財(cái)經(jīng)網(wǎng)頁和6個(gè)餐飲網(wǎng)頁中隨機(jī)瀏覽一個(gè)，然后完成7道SUPR-Q類型的問題和1道NPS問題。

8道問題會同時(shí)出現(xiàn)在同一頁面上（如下圖），但在12個(gè)網(wǎng)站中，接近一半的受訪者看到的題目順序會被調(diào)換。也就是說，有一半的受訪者看到NPS問題出現(xiàn)在問卷的前面，另一半的受訪者會看到NPS問題出現(xiàn)在問卷的后面。

該圖片由體驗(yàn)家XMPlus翻譯

研究發(fā)現(xiàn)，兩組NPS的平均得分幾乎相同（NPS在前的得分為8.26，NPS在后的得分為8.25）。除此之外，其他7道SUPR-Q題目的平均得分也沒有差異（SUPR-Q在前的得分為4.25，SUPR-Q在后的得分為4.28，P=641）。

NPS問題的順序?qū)ο嚓P(guān)性的影響

在某些情況下，研究人員希望從SUPR-Q題目中預(yù)測用戶的NPS得分（例如從網(wǎng)站的可用性和可信性分?jǐn)?shù)來預(yù)測NPS得分），以此來觀察相關(guān)性是否會因?yàn)閱柧眍}目的不同呈現(xiàn)順序而產(chǎn)生不同的影響。在這次研究中，博士得出了一個(gè)新發(fā)現(xiàn)：

當(dāng)NPS問題在問卷的前面（開頭的位置）時(shí)，比它跟在7道SUPR-Q題目的后面具有更高的相關(guān)性。數(shù)據(jù)顯示，在5道題目中，當(dāng)NPS問題在其余4道題目的前面時(shí)，調(diào)整后的R方為40.2%；而如果NPS問題跟在其余4道題目的后面，調(diào)整后的R方就下降為32.6%。

R方(R-squared)是一種衡量相關(guān)性的指標(biāo)，一般用于回歸模型中來評估預(yù)測值和實(shí)際值的符合程度。調(diào)整后的R方（Adjusted R-squared）同時(shí)考慮了樣本量和回歸中自變量的個(gè)數(shù)的影響，較R方的測算更為準(zhǔn)確。調(diào)整后的R方越大，表示模型擬合度越好，可解釋程度越高。

這個(gè)數(shù)據(jù)表明，當(dāng)態(tài)度更加寬泛的總體題目首先出現(xiàn)在問卷時(shí)，其相關(guān)性更高。

四、研究要點(diǎn)和總結(jié)

在本期文章中，我們回顧了一些問卷中的順序效應(yīng)的相關(guān)文獻(xiàn)，還就杰夫·索羅博士的兩項(xiàng)針對NPS題目順序的在線實(shí)驗(yàn)進(jìn)行了探討，經(jīng)過總結(jié)，我們發(fā)現(xiàn)：

1. NPS得分不受順序效應(yīng)的影響

在不同的網(wǎng)頁、產(chǎn)品或服務(wù)的問卷調(diào)查中，無論NPS題目是在問卷的前面還是后面，它們的NPS平均得分以及分?jǐn)?shù)的分布幾乎是相同的。

2. 順序效應(yīng)使相關(guān)性存在差異

當(dāng)NPS題目放在了SUPR-Q題目的前面時(shí)，調(diào)整后的R方可以增加約7%，即相關(guān)性更高。但博士認(rèn)為，這些SUPR-Q題目并沒有指明具體的屬性（如定價(jià)或某項(xiàng)具體功能），態(tài)度更加廣泛，因此可以解釋結(jié)果的部分差異性。

3. 順序效應(yīng)真實(shí)存在，但很難預(yù)測

很多研究已經(jīng)表明，順序效應(yīng)是真實(shí)存在的，但尚未清楚順序效應(yīng)什么時(shí)候會出現(xiàn)、以及會造成多大程度的影響。

4. 順序效應(yīng)受到多因素影響

根據(jù)一些已發(fā)表的文獻(xiàn)，問卷主題、上下文語境及題目順序的調(diào)整都可能產(chǎn)生不同類型的順序效應(yīng)。

在博士的第一項(xiàng)研究中，第一組將40道題目放在了NPS問題的前面，第二組更是將72道題目放在了NPS問題的前面。這樣一來，順序效應(yīng)有可能因?yàn)轭}目的數(shù)量較多而被削弱影響，又或者是被其他問題所掩蓋，也可能是受訪者對推薦的態(tài)度不太容易受到題目順序的影響。

未來在開展順序效應(yīng)的研究時(shí)，需要盡量分離出這些影響，同時(shí)也需要更多的研究數(shù)據(jù)去判斷是否存在這些影響。

參考資料：

1. Does Changing the Order of the NPS Item Affect Results?
2. 什么是順序效應(yīng)（order effect）？
3. 順序效應(yīng)（A+醫(yī)學(xué)百科 ）
4. 問卷設(shè)計(jì)｜問題選項(xiàng)的順序效應(yīng)
5. [科普中國]認(rèn)知失調(diào)理論
6. Net Promoter Score Benchmarks: Don’t Waste Your Time On External Data
7. 15 種國際可用性測試經(jīng)典量表（一）
8. 統(tǒng)計(jì)學(xué)中的“P”值是什么意思
9. R方(R-squared)
10. 【回歸分析】R、R平方與調(diào)整后的R平方