隨著5G的發(fā)展，智能座艙中新技術(shù)、新場景、新模式不斷涌現(xiàn)，車載交互設(shè)備的數(shù)量已經(jīng)快速地達(dá)到了上限，設(shè)計(jì)師需要考慮如何讓駕駛員在駕駛車輛時(shí)有安全、高效、舒適的人機(jī)交互體驗(yàn)，多模態(tài)交互將會(huì)成為未來人機(jī)交互的主流。本文主要從智能座艙和多模態(tài)交互的概念、智能座艙的常見模態(tài)及優(yōu)缺點(diǎn)分析、多模態(tài)交互的重要性及應(yīng)用、多模態(tài)交互面臨的問題等做討論。

一、什么是智能座艙與多模態(tài)交互

1. 什么是智能座艙

“智能座艙”目前還沒有一個(gè)統(tǒng)一的定義，它的概念本身一直隨著外界環(huán)境的發(fā)展而不斷變化著。跟傳統(tǒng)座艙相比，智能座艙的“智能”主要體現(xiàn)在以下幾個(gè)方面：

• 儀式感：App遠(yuǎn)程控制、車門迎賓燈+交互式大燈、智能形象+語音歡迎語等；
• 科技性：ADAS駕駛輔助、高精地圖、智能導(dǎo)航、駕駛員疲勞監(jiān)測、主動(dòng)調(diào)節(jié)駕駛坐姿等；
• 易用性：多屏互聯(lián)（中控屏、副駕駛娛樂屏、儀表盤、HUD）、智能語音、多模交互等；
• 安全感：底盤操控、駕乘品質(zhì)感、先進(jìn)技術(shù)加持等；
• 人性化：模式調(diào)節(jié)、自動(dòng)泊車、尋找充電樁、自動(dòng)充電等；
• 第三空間：沉浸式座艙、k歌模式、智能游戲、社交互聯(lián)等。

二、什么是多模態(tài)交互

“模態(tài)”（modality）一詞是由德國生理學(xué)赫爾姆霍茲提出的生物學(xué)概念，即生物憑借感知器官與經(jīng)驗(yàn)來接收信息的通道，例如人類可以通過五感來獲取外界信息?！岸嗄B(tài)交互”就是融合了人的視覺、聽覺、觸覺等多種感官，計(jì)算機(jī)利用多種通信通道響應(yīng)輸入，并充分模擬人與人之間的交互方式。

二、智能座艙中常見的模態(tài)有哪些？

目前智能座艙的模態(tài)包括視覺、聽覺、觸覺、手勢和嗅覺，以下將會(huì)分別介紹這幾個(gè)模態(tài)在智能座艙中對(duì)應(yīng)的載體有哪些

視覺：HUD+儀表盤+中控+后視鏡+氛圍燈

聽覺：音樂+語音交互+警示音

觸覺：方向盤+按鍵+中控+擋位+座椅+安全帶更多用于提示場景

手勢：隔空控制音量、切換歌曲、控制車窗等場景

嗅覺：不同氣味用于不同場景，疲勞場景可用于提神 （理想L9）

三、智能座艙常見模態(tài)的優(yōu)缺點(diǎn)

整個(gè)智能座艙的大部分的信息都放在視覺通道里面，這無疑會(huì)增加駕駛員的認(rèn)知負(fù)荷，單模態(tài)交互難以滿足復(fù)雜的駕駛場景，各模塊彼此間的關(guān)聯(lián)性不強(qiáng)，大大降低了信息感知的價(jià)值。

如何實(shí)現(xiàn)高效、安全、易用的人機(jī)交互，避免駕駛員注意力分散，降低交互認(rèn)知和改善人車交互體驗(yàn)是值得思考的問題。

因此，這也是接下來要討論的多模態(tài)的交互如何改善駕駛過程的安全與效率。

四、智能座艙為什么需要多模態(tài)交互

經(jīng)研究表明，人類更習(xí)慣多模態(tài)交互，尤其高優(yōu)先級(jí)消息以多模態(tài)的冗余增益可以加快處理時(shí)間，例如視覺+聽覺或視覺+振動(dòng)觸覺警告比單模警告擁有更快響應(yīng)。

以下將?通過【多重資源理論】和【態(tài)勢感知】兩個(gè)模型來進(jìn)行分析

多重資源理論：一個(gè)通道接收的信息是有上限的，當(dāng)信息過載時(shí)，會(huì)導(dǎo)致人的認(rèn)知負(fù)荷，從而降低效率。為了避免視覺通道超負(fù)荷，可以將部分信息通過聽覺通道呈現(xiàn)，這能有效降低司機(jī)的工作負(fù)荷。

態(tài)勢感知：態(tài)勢感知（Situation Awareness，SA）是一種感受者根據(jù)環(huán)境因素而動(dòng)態(tài)、整體地理解當(dāng)前情境的能力，由此可以提升對(duì)安全風(fēng)險(xiǎn)的發(fā)現(xiàn)識(shí)別、理解分析及響應(yīng)能力，以便于做出最終的決策與行動(dòng)。

對(duì)于新手司機(jī)來說，在駕駛過程當(dāng)中，會(huì)比較關(guān)注路面，這時(shí)候如果在視覺上彈出信息，就很容易造成他們的注意力分散，這就是態(tài)勢感知的喪失。這時(shí)如果通過語音或者觸覺的通道去反饋，可以保證駕駛員注意力不被分散，從而也提高了安全性和效率。

智能座艙多模態(tài)交互的重要性

對(duì)駕駛員行為和狀態(tài)進(jìn)行多模監(jiān)測

通過對(duì)方向盤的轉(zhuǎn)向，行駛軌跡，油門的加減速，以及視覺攝像頭的分析，可以判斷駕駛員是否在開啟ADAS系統(tǒng)后，處于瞌睡、疲勞、分心等脫離駕駛狀態(tài)中。

多模提示讓駕駛員保持良好的態(tài)勢感知

當(dāng)車輛開啟ACC（Adaptive Cruise Control，ACC）功能時(shí)，車輛監(jiān)測車外環(huán)境，包括其他車輛的運(yùn)動(dòng)狀態(tài)、特定工況等，結(jié)合車內(nèi)動(dòng)態(tài)信息顯示在AR-HUD上，比如當(dāng)下時(shí)速、車距、基本車輛信息，幫助駕駛員判斷前車運(yùn)動(dòng)軌跡，增強(qiáng)態(tài)勢感知，降低駕駛員工作負(fù)荷，及時(shí)作出有效判斷及行動(dòng)。

五、智能座艙多模態(tài)交互的應(yīng)用

1. 語音+視覺

語音交互在實(shí)際應(yīng)用中本身是不可見的東西，如果不與視覺模態(tài)進(jìn)行融合，駕駛員很難預(yù)判出他們發(fā)出的指令處于哪個(gè)狀態(tài)，從而失去把控感。比如在進(jìn)行語音命令時(shí)，它產(chǎn)生的狀態(tài)有：喚醒-聆聽-識(shí)別-播報(bào)-持續(xù)傾聽，通過中控屏幕上的語音虛擬形象或者實(shí)體機(jī)器人的空間方位和狀態(tài)來區(qū)別不同階段，可以提高駕駛員的安全感。

2. 視覺+觸覺

小鵬P7打開車道輔助時(shí)，為了減少駕駛員在開車時(shí)低頭看儀表盤，方向盤會(huì)通過抖動(dòng)的方式來提示目前車輛壓線了；另外，還可以通過方向盤的物理按鍵喚醒語音，語音虛擬形象的狀態(tài)變化顯示在中控屏上。

除了常規(guī)的多模態(tài)交互以外，在廣義的模態(tài)交互還包括了什么？

• 通過面部特征識(shí)別分析當(dāng)前駕駛者的坐姿設(shè)置，自動(dòng)調(diào)節(jié)座椅和方向盤高度
• 通過眼動(dòng)追蹤、心電、呼吸特征監(jiān)測駕駛者是否疲勞、身體異常、分神等異常情況，進(jìn)行多模態(tài)警示，來保障駕駛者的安全

六、多模態(tài)交互面臨的挑戰(zhàn)

1. 不同模態(tài)的識(shí)別精度有待提高

眼動(dòng)追蹤在短期內(nèi)精度無法再提高，這容易導(dǎo)致AR-HUD貼合和疲勞檢測出現(xiàn)部分問題。

2. 不同模態(tài)融合準(zhǔn)確率有待提高

以分神駕駛為例，眼動(dòng)追蹤、頭部追蹤、方向盤旋轉(zhuǎn)角度、道路偏移等參數(shù)整合時(shí)存在一定的不客觀性（環(huán)境因素、個(gè)體差異等等）。

3. 多模態(tài)識(shí)別需要的算力在目前無法提供

眼動(dòng)追蹤、手勢識(shí)別、頭部追蹤都需要實(shí)時(shí)計(jì)算，且需要的算力無法滿足。

七、思考：什么是好的多模態(tài)交互？

我認(rèn)為好的多模態(tài)交互首先要滿足智能座艙的安全，再在此基礎(chǔ)上讓交互變得更舒適和高效，符合人體自然的使用習(xí)慣和感知需求，比如主動(dòng)調(diào)節(jié)駕駛坐姿、 溫度讓駕駛者和乘坐者獲得最舒適的駕乘體驗(yàn)，人的視線可以自然看到信息而不需要低頭，手可以觸碰到操作功能而不需要彎腰等等。未來智能座艙的交互系統(tǒng)會(huì)更加智能化、理解用戶意圖，汽車將成為更好的生活空間。

（以上內(nèi)容僅用于學(xué)習(xí)交流討論）

【1】譚浩, 譚征宇, 景春暉. 汽車人機(jī)交互界面設(shè)計(jì)[M]. 北京: 電子工業(yè)出版社, 2015.
TAN Hao, TAN Zheng-yu, JING Chun-hui. Automo- tive HMI Design[M]. Beijing: Electronic Industry Press, 2015.

【2】黃超俊. 智能座艙開發(fā)中的人機(jī)與交互布置研究沙龍.

【3】王建民, 劉宇佳，李陽，由芳. 基于態(tài)勢感知的汽車人機(jī)界面設(shè)計(jì)研究, 2021.

https://www.researchgate.net/publication/350871476_jiyutaishiganzhideqicherenjijiemianshejiyanjiu_wangjianmin

【4】車載多模交互設(shè)計(jì) https://zhuanlan.zhihu.com/p/172438084

【5】薛志榮. 智能座艙多模交互體驗(yàn)設(shè)計(jì)沙龍