在數(shù)字化時代，產(chǎn)品的多模態(tài)交互設(shè)計正變得越來越重要。本文從多模態(tài)交互的基礎(chǔ)知識開始講起，給大家分享了如何構(gòu)建一個跨越感官的多模態(tài)體驗，供大家參考。

“感知，理解、決策和行動是多模態(tài)體驗的基石”

我們的個人世界是我們的大腦利用感官原材料構(gòu)建而成的，而原材料在構(gòu)建過程中也會發(fā)生各種變化?！?Faith Hickman Brynie

?? 本篇知識點概括：

1. 構(gòu)建多模態(tài)體驗

2. 現(xiàn)實中的切片：環(huán)境與感知

3. 多模式體驗：模式和模型（Schemas and Models）

4. PARITY（奇偶校驗）: 從感應(yīng)到感知

01 構(gòu)建多模態(tài)體驗

與其說體驗設(shè)計師在構(gòu)建體驗，不如說人們在為自己構(gòu)建體驗。俗話說，“美只存在于旁觀者的眼中。“ 不僅美觀，還有功能性、清晰度和可靠性。它們也存在于我們的皮膚中，分布在我們的骨骼表面、我們的脊柱內(nèi)，更重要的是在我們的腦海中。

當(dāng)我們體驗物理世界時，需要清楚明白當(dāng)前發(fā)生了什么以及下一步該做什么。我們是高度靈活和適應(yīng)性強的生物，我們解決問題的方式也是如此。

我們將許多不同的感知、認知和身體能力匯集在一起，從一刻到下一刻作出適當(dāng)?shù)姆磻?yīng)。在這些過程中，我們的思想和身體會逐漸發(fā)展出一些快捷方式，讓我們和物理世界的交互變得更簡單。

產(chǎn)品體驗也是如此，弄清楚人們會如何使用設(shè)備，以類似的方式設(shè)計使用方式可以幫助用戶快速習(xí)得交互路徑。這種過程也被稱為同化的過程，即心智模型在新型信息中的使用，比如，我們本身就了解實體辦公桌的工作環(huán)境，這種現(xiàn)有的心智模型有助于我們理解如何更輕松地使用計算機的操作系統(tǒng)。

許多圖形用戶界面 （GUI） 使用「桌面」的比喻作為組織信息的一種方式。

Mac 操作系統(tǒng)使用的視覺隱喻

另一種感知現(xiàn)象，稱為「模態(tài)未完成」 （Amodal completion），這是一種視覺現(xiàn)象，指的是當(dāng)物體的部分被遮擋時，觀察者仍能感知到完整的物體。這種感知現(xiàn)象可以用于在基于屏幕的導(dǎo)航（如滑動窗格和視差）中創(chuàng)建視覺效果。

02 現(xiàn)實中的切片：環(huán)境與感知

海豚的聽覺處理能力是人類的兩倍，它們用這個能力來定位水下的物體，這是大多數(shù)陸地動物無法做到的。狗的嗅覺比我們自己的好 100,000 倍，它們用它來讀懂情緒，而人類做不到。鰻魚可以檢測到大多數(shù)動物無法檢測到的電磁波譜范圍。它們使用這種能力來檢測其他生物的接近。這些感官能力中的每一種都允許擁有它們的物種訪問獨特的物理信息片段，這些信息塑造了他們與環(huán)境互動的方式。

來自Jakob von Uexküll的理論：物種如何感知世界并與之互動的物學(xué)基礎(chǔ)的理論被稱為 「umwelt」，umwelt 這個詞的字面意思是“環(huán)境”，Uexküll 的基本思想是，一個生物生活在一個感官世界中，對這個世界的感知，可以幫助它多姿多彩的生活。

心理學(xué)家 James J. Gibson 將我們對環(huán)境的理解能力定義為可供性「Affordance」，可用性專家和設(shè)計基礎(chǔ)教科書《The Design of Everyday Things – 日常事物的設(shè)計》的作者 Donald Norman 也很擅長將我們對環(huán)境的感知能力應(yīng)用于設(shè)計。

基于感知的互動也與我們理解它們的方式密切相關(guān)。我們不能像海豚那樣使用聽覺進行導(dǎo)航，也不能像狗那樣在社交互動中使用氣味來識別彼此。我們的環(huán)境定義了我們感知的交互范圍，以及我們使用不同感官的目的，這不僅適用于人類，也適用于所有生物。

人類、海豚、狗、鰻魚和 iPhone 的 「umwelts」切片，他們都有特定的感官，可以影響他們的“世界觀”

03 構(gòu)建多模態(tài)體驗：模式和模型（Schemas and Models）

Donald Norman 提出了設(shè)計的心智模型。它是人們構(gòu)建認知的心理模型，人們了解一個物體是什么，以及它是如何工作的。許多人類能力是通過重復(fù)經(jīng)歷中出現(xiàn)的模式發(fā)展起來的。

在心理學(xué)中，「模式」（Schemas）的概念用于描述思想或行為模式?！改Ｐ汀梗∕odels）用于描述外部對象和事件的內(nèi)部，這些模型是通過重復(fù)體驗構(gòu)建的。這兩個概念及其應(yīng)用方式之間存在一些重合。模式和模型有很多種類型，它們用于人類行為的各個方面。身體模式是我們對空間的感知，它讓我們能夠四處走動而不會撞到東西，也是手眼協(xié)調(diào)不可或缺的一部分。模態(tài)和多模態(tài)都認為是「模式」的類型，我們會同時使用感知、認知和身體模式。如果沒有字母數(shù)字鍵的布局和行為的心智模型，我們就不會使用鍵盤，但如果沒有身體模式的參與，我們就無法自如的用手在鍵盤上打字。如果我們無法將語言、輸入和閱讀能力集成到一個模式里，那我們就無法和基于文字的應(yīng)用程序交互，這就是多模態(tài)的能力。

設(shè)計模式反映了人類的行為模式，這個理論的出現(xiàn)使交互體驗易于管理。當(dāng)我們的感官處于最佳狀態(tài)，可以不假思索地執(zhí)行技能，并形成習(xí)慣形式，甚至形成自動反射，這就是一個成功多模態(tài)體驗。好的設(shè)計就是用戶可以不假思索的運用多種感官進行交互。

模式會影響我們感知、識別和記住相關(guān)事物的方式，設(shè)計模式必須遵循心智模型，使交互保持一致且可管理。如果所有電源開關(guān)的工作方式彼此完全不同，那么我們每次使用一個電源開關(guān)時就必須重新學(xué)習(xí)新的交互方式了。

感知、理解、決定和行動可以被認為是我們所有多模態(tài)能力的基石。它們通過模式組織成有凝聚力的知識和行為體系。舉個非常簡單的例子，將語言理解與視覺相結(jié)合，你就有了閱讀能力。將語言與聽覺相結(jié)合，你就有了傾聽能力。再次將語言與手部動作結(jié)合在一起，你就有了書寫或打字能力。將語言與聲帶和嘴巴運動相結(jié)合，你就有了語言能力。這也適用于無障礙功能。以不同的方式再次將觸摸與語言相結(jié)合，可以進行盲文閱讀和鍵盤輸入。將視覺與語言再次結(jié)合，手語就誕生了。隨著時間的推移和實踐，我們會發(fā)展出如何結(jié)合使用這些不同模態(tài)的模式，也可以越來越輕松地使用它們。用戶同時使用多種感官，就叫做用戶的多模態(tài)輸入，而機器同時使用多種模態(tài)進行反饋，就叫做機器的多模態(tài)輸出。

人類的交流可以跨越多種多模態(tài)組合，許多不同的方式可以傳達同一個想法；

我們的感官界定了我們可以體驗到的物理信息種類，易讀性和可聽性開始發(fā)揮作用。我們的眼睛只能區(qū)分一定大小和距離的形狀。我們的耳朵只能在一定的音量和音調(diào)范圍內(nèi)聽到。作為產(chǎn)品設(shè)計的一部分，我們的認知能力越來越受到關(guān)注。認知演進（Cognitive walkthroughs）是一種研究實踐，它解釋了記憶、語言理解的作用以及人們用來評估決策中不同因素的能力和方法。它們在產(chǎn)品設(shè)計中得到了廣泛的應(yīng)用。決策是一個特別值得關(guān)注的領(lǐng)域。有許多不同的決策模型，因為我們做出的決策有很多種 – 從接受好友請求到如何繞過水坑。當(dāng)然，我們的身體能力總是影響著設(shè)計。汽車儀表板上的所有重要控件都必須在駕駛員伸手可及的范圍內(nèi)，并且只能用一只手使用。現(xiàn)在，電腦桌的高度通常是可調(diào)節(jié)的，以使我們的肘部和手腕處于舒適的角度，以防止重復(fù)性的壓力損傷。

感知、理解、決定和行動 — 多模態(tài)體驗的基石。

04 PARITY（奇偶校驗）: 從感應(yīng)到感知

雖然設(shè)備的模式和人類模式在某些方面相似，但在其他方面卻大不相同。這種比較稱為奇偶校驗，它展示了人與設(shè)備能力之間感知能力的重合。例如擴光譜望遠鏡如何幫助我們了解太陽和恒星發(fā)出的不同種類的能量，而這些能量是我們僅靠眼睛無法看到的。但是在許多情況下，人類的感知能力也是超過技術(shù)的——人類的精細運動就是其中之一。

人體耳蝸和加速度計、人眼和相機的光電陣列：每個都有優(yōu)點、缺點和有趣的特性。

內(nèi)耳中的耳蝸在檢測方向和平衡方面的工作方式類似于加速度計：與地面保持水平的液體可以在 x、y 和 z 軸上移動。然而，與我們不同的是，快速旋轉(zhuǎn)加速度計不會讓人頭暈。然而，視覺是不同的。我們可以輕松檢測到比典型相機更寬的色彩范圍或色域。親眼看到的美麗風(fēng)景比相機或屏幕所能顯示的要生動和豐富多彩得多，更不用說吹拂我們頭發(fā)的風(fēng)和剛落下雪的氣味了。話雖如此，我們絕對不能像高速相機那樣看到每秒 100,000 幀。某些相機可以檢測紫外線和紅外光 – 超出我們自己的可見光譜。然而，在我們的頻譜中，我們有更好的動態(tài)范圍;我們可以同時看到非常亮的光和非常深的陰影。

除了面相學(xué)與硬件之外，我們處理感官信息的方式也不同。首先，我們處理的感官檢測到的信息出奇地少。雖然我們可以一次看到一整頁文本，但我們實際上一次只能閱讀一個單詞。過了幾天以后我們能記住的單詞就很少了，盡管我們可以很容易地推斷出更高層次的總結(jié)和含義。相比之下，計算機的 RAM 可以輕松地一次容納一頁的所有單詞，甚至一整本書的所有頁面。計算機存儲內(nèi)存可以無限期地保存副本。然而，得出高層次結(jié)論的能力尚未完全實現(xiàn)。（也許未來LLM的推理能力可以做到）

我們有許多用于感官分析的自動流程，我們也無法關(guān)閉它們。每種模態(tài)都提供了從感官數(shù)據(jù)中提取知識的不同方法。例如，對話和視覺圖像的很多信息是觸覺振動無法傳達的。

早期的 iPhone 帶有觸覺引擎的按鈕，用于模擬物理觸感，就是利用了我們的觸覺不確定感來創(chuàng)造機械和人類接觸的錯覺。

Taptic Engine 是 Apple iPhone 和 Apple Watch 中的觸覺系統(tǒng)，不同類型的振動很容易刺激我們的觸覺，讓我們感覺像是真正點擊一個物理按鈕。

人類不太擅長區(qū)分觸覺中的變化，我們更擅長檢測視覺中表面紋理的變化。我們的思想和感官不斷地協(xié)同工作，以便我們能夠絲滑地體驗世界。心理學(xué)一直在研究我們?nèi)绾胃兄诎l(fā)生的事情，了解它與我們的關(guān)系。我們又是如何適應(yīng)環(huán)境中的各類變量，這些人類感知能力的原理都是設(shè)計多模態(tài)體驗時的依據(jù)。

感知，理解、決策和行動是多模態(tài)體驗的基石。

下一篇預(yù)告：

人體五感的感知能力范圍（人機交互參數(shù)參考）