一直以來，VR領(lǐng)域的從業(yè)者都在嘗試追尋與實現(xiàn)更自然的交互，而蘋果在今年6月發(fā)布的初代MR頭顯，或許可以為后續(xù)的XR交互帶來更多可能性。這篇文章里，作者就梳理了XR交互方式的迭代變化過程與趨勢，一起來看看吧。

為了讓XR設(shè)備的控制器更加貼近自然，業(yè)內(nèi)做過很多種嘗試，像Meta前幾年曾公布的觸覺手套，索尼近期公布的游戲手套，還有綁在手腕上的控制器，外掛氣味套件等等。

只是由于大多數(shù)交互方式的嘗試很難落地，搞了好幾年仍是概念產(chǎn)品。目前，XR交互仍以頭部和手部的6DoF追蹤定位為主，未來XR的交互的重點仍將以手部以及頭部為主，只是圍繞的中心正在發(fā)生變化。

2023年6月，蘋果發(fā)布其初代MR頭顯，摒棄了手柄，采用了以語音+手勢+面部/眼睛追蹤為主的更加自然的交互方式。為了更好理解XR交互方式的迭代，本文梳理了XR交互方式的迭代變化過程與趨勢。

一、VR交互發(fā)展的第一次沖鋒

1995年，任天堂發(fā)布了一款早期VR概念的便攜式游戲機Virtual Boy，也算是VR交互發(fā)展的首次沖鋒，當(dāng)時各大媒體的報道都給予了這款產(chǎn)品很高的評價。

山內(nèi)溥更是在1995年Q1的股東大會上欣然允諾：“Virtual Boy將在發(fā)售的第一財年里出貨500萬臺，為任天堂帶來800億日元的利潤?！比欢鳹irtual Boy發(fā)售不到半年就迅速走向了「死亡」，評價也是一落千丈。

任天堂自然是希望Virtual Boy能成為它彎道超車的機會，一舉搶占新賽道。但從Virtual Boy的形態(tài)來看，想做到這一點很難。

做到这三点挑战，产品经理只会不断升值

好的产品经理是很稀缺的，懂用户、懂商业、懂数据的产品经理走出互联网，依然是抢手货。相反，如果只做简单传话、低效执行、浅层思考的产品经理，恐怕走不过未来3-5年的洪流。

查看详情 >

一款可被消費者持續(xù)購買的產(chǎn)品，交互方式必然很重要。當(dāng)時由于技術(shù)的受限，Virtual Boy很難被攜帶使用，同時采用單色液晶屏的技術(shù)，整個畫面都是紅色的，像極了驚悚片。

Virtual Boy 游戲《馬力歐網(wǎng)球》的模擬器演示畫面，實機畫面表現(xiàn)與此相比還要差得多

而Virtual Boy的交互設(shè)計則以游戲手柄作為參考對象，造型看上去很奇怪，與現(xiàn)在的游戲手柄的設(shè)計相比，當(dāng)時Virtual Boy沒有X和Y按鈕，有一個更大的握把，右側(cè)還有一個額外的方向鍵。

由于頭戴式會出現(xiàn)讓人頭暈的偏振現(xiàn)象，任天堂的解決方法是取消頭戴式，給頭顯加個三腳架，讓玩家自己的腦袋去適配游戲機，用起來大概是下面所展示的畫面。據(jù)大多數(shù)玩家表示在玩游戲過程中會出現(xiàn)惡心、頭暈以及眼睛非常不舒適的感覺。

雖然Virtual Boy給人帶來了三維視覺的體驗，但交互方式還是沿襲了游戲交互的設(shè)計，與VR設(shè)備的結(jié)合并不是很協(xié)調(diào)，這也是VR硬件早期發(fā)展過程中所體現(xiàn)出來的一個問題。

在VR硬件發(fā)展的早期階段，交互方式都很單一，而且設(shè)備過重很難攜帶，同時還容易發(fā)熱，這一系列的不佳體驗都導(dǎo)致90年代的VR設(shè)備發(fā)展陷入停滯的局面。各大廠商們紛紛偃旗息鼓，坐等技術(shù)進一步發(fā)展。

二、VR交互發(fā)展的多種嘗試

2012年左右，隨著技術(shù)有進一步進展，VR熱潮開始重啟。

2012年Oculus創(chuàng)始人帕爾默·拉基發(fā)布了Oculus Rift原型機并籌集了240萬美元，用于改進頭顯和跟蹤軟件。Oculus Rift的到來，讓廠商們看到了VR的潛力。2014年，F(xiàn)acebook便以20億美元收購了Oculus VR。

Oculus Rift本身是一副虛擬現(xiàn)實護目鏡，配有耳機，可連接到游戲PC或筆記本電腦，只是Oculus Rift可以通過紅外傳感器追蹤頭部運動，并且還可以通過Oculus Touch控制器跟蹤有限的手部動作。Oculus Touch控制器具有按鈕和模擬搖桿，能夠與其他支持PC的游戲控制器兼容。

通過Oculus Rift，人們驚訝地發(fā)現(xiàn)VR設(shè)備相比之前已經(jīng)有了很大的改進，在交互環(huán)節(jié)上雖然缺失手動跟蹤控制器，無法完成復(fù)雜的游戲，但是可以滿足瀏覽視頻，三維觀看的需求，同時期無手柄設(shè)計的設(shè)備還有谷歌VR盒子、三星Gear。

Oculus Rift

2014年谷歌發(fā)布VR盒子——Cardboard，一種廉價的簡易頭戴式裝置，其圖像質(zhì)量并無法與Oculus Rift相媲美，但造價與體驗成本很低，用戶只需要在手機上下載好軟件，并將手機放入Cardboard紙盒即可體驗三維視頻，降低了普通人踏入VR的門檻。

谷歌VR盒子——Cardboard

2015年三星發(fā)布Gear，三星Gear也不能獨立工作，仍需要連接手機。設(shè)備會自動檢測，一旦連上手機，會自動變成VR模式，讓屏幕分屏顯示VR內(nèi)容。但三星Gear VR并不只是一個和谷歌紙盒一樣的簡單的設(shè)計，其自帶加速計、陀螺儀和重力傳感器，能夠幫助減少屏幕延時，提供更好的體驗。

同時，雖然三星Gear也無手柄，但三星Gear在眼鏡的右側(cè)設(shè)有內(nèi)凹十字的觸控板和功能性的按鍵，所有的使用操作都通過觸控板和按鍵實現(xiàn)。中間的圓點為確認(rèn)鍵，觸控板上獨立設(shè)有一顆返回鍵。

也就是說在操作環(huán)節(jié)上，三星Gear又更進了一步，即使不看設(shè)備，滑動設(shè)備邊上的觸摸板也可以進行盲操作，而在玩一些游戲時也可連接藍牙手柄。

2012年-2016年期間VR設(shè)備的交互設(shè)計已經(jīng)逐步轉(zhuǎn)向人性化的設(shè)計，雖然這時候VR還不能作為獨立的設(shè)備使用，VR設(shè)備的交互也無法完全滿足用戶需求，但卻激發(fā)了人們對VR前景的期待。

2016年已經(jīng)有不少硬件廠商推出了自己的VR硬件設(shè)備，分別有PC VR頭顯、VR一體機以及用于生產(chǎn)VR內(nèi)容的全景相機設(shè)備等。

在交互技術(shù)迭代上，2016年之后的設(shè)備開始圍繞手部與頭部的追蹤，在3DoF追蹤定位的基礎(chǔ)上升級到6DoF，增加手柄和頭部的追蹤意味著用戶與VR設(shè)備的連接更加自由，體驗也會更自然。具有代表性的產(chǎn)品有HTC Vive、 Valve、Quest系列、PICO Neo 3等。

6DoF即6自由度，在3DoF基礎(chǔ)上再增加“上下、前后、左右”等3個位置相關(guān)的自由度。頭部從3DoF只能檢測到頭部轉(zhuǎn)動姿態(tài)到6DoF可以檢測伸頭縮頭等姿態(tài)，而且還可以檢測身體移動上下前后左右位移的變化。6DoF更加符合人體體驗，更具沉浸感。

尤其是在VR游戲的體驗中，復(fù)雜的VR游戲往往會需要玩家調(diào)動全身互動融入，6DoF可以做到360°的移動身體，如果是3DoF往往只能待在原地，主打觀看。

如今6DoF+手柄追蹤方案已經(jīng)是VR設(shè)備的標(biāo)配，也有部分廠商的設(shè)備已升級到裸手識別交互，但識別效果欠佳。各大廠商都在極力在6DoF的基礎(chǔ)上不斷增強VR交互能力，如360°環(huán)繞音效、眼動追蹤等。整體來看，目前VR交互技術(shù)的成熟度仍有不足，離自然、便捷、擬真的交互體驗還有一段距離。

三、XR更自然交互方式的到來

一直以來VR追尋自然交互技術(shù)的腳步一直未停，但由于成本與技術(shù)之間難以平衡，很多好的交互概念便一直停留在設(shè)想環(huán)節(jié)，因此VR手柄便是目前主流的交互方式。

但自蘋果發(fā)布Vision Pro以來，業(yè)內(nèi)看到了VR設(shè)備的創(chuàng)新交互被打開了一個窗口，VR交互方式可以更加接近自然，在VR手柄交互之外增加了諸多自然的輔助交互方式，如語音、手勢、面部追蹤以及全彩透視，這些交互方式或有望成為未來新的主流交互方式。

關(guān)于Vision Pro的交互解析可查看VR陀螺之前寫過一篇分析文章《Vision Pro交互設(shè)計，蘋果的陽謀》。

語音+手勢+面部/眼動追蹤，實現(xiàn)可見即可交互

語音識別在人工智能發(fā)展的趨勢下不可或缺，并且是最快發(fā)展的一種交互方式，如語音識別交互已經(jīng)從最初的語音搜索發(fā)展到智能家居、智能汽車等多領(lǐng)域。

而在蘋果所演示的Vision Pro的應(yīng)用中，語音交互已經(jīng)展現(xiàn)了其輔助交互的潛力，通過語音可以喚醒或關(guān)閉APP以及發(fā)送信息等。在2023CIOE深圳光博會展覽上，能看到諸多廠商都展示了增加語音識別技術(shù)的整機方案，尤其是在B端，語音識別起到了很大輔助作用。

今年，自ChatGPT爆發(fā)以來，大模型推動自然語言處理等后端環(huán)節(jié)更加成熟，為語音識別的應(yīng)用場景提供了諸多可能性，據(jù)頭豹預(yù)計2027年市場規(guī)?？赏黄?50億元。未來，語音識別交互趨勢將進一步加強，推動XR交互不斷升級。

VR手柄作為傳統(tǒng)游戲手柄交互方式的一種延續(xù)，在XR交互過程中很難實現(xiàn)手勢動作的連貫性，相當(dāng)于用戶只能通過手柄執(zhí)行任務(wù)，雙手自然就被束縛住了。而裸手交互作為有望取代VR手柄的一種交互方式，體驗上更加接近人的自然狀態(tài)。

面部/眼動追蹤使用內(nèi)部攝像頭來感知用戶眼睛和臉部某些部位的動作，再結(jié)合免校準(zhǔn)的機器學(xué)習(xí)模型，頭顯可以將所看到的內(nèi)容轉(zhuǎn)化為可以驅(qū)動任何化身動畫的輸入，實現(xiàn)虛擬化身。

但眼動追蹤的實現(xiàn)更難，2022年以來，能看到諸多XR設(shè)備都搭載了眼動追蹤技術(shù)，如PS VR 2、Quest Pro以及PICO 4 Pro，但還是很難達到絲滑的地步。如果說語音+手勢+面部/眼動追蹤可以將人的身體自然調(diào)動，必然會成為人機交互最好的解決方案。

至于全彩透視雖然可以提供更加豐富的MR體驗，但技術(shù)難度高。目前還無法做到通過人眼直接看到的真實世界，只能通過機器拍攝現(xiàn)實世界場景，經(jīng)過系統(tǒng)處理之后投射在顯示屏上的畫面。只是作為實現(xiàn)MR的重要技術(shù)，或會打開基于MR版本的消費場景。據(jù)了解，已有內(nèi)容上嗅到潛力，開始開發(fā)MR版本的游戲。

四、結(jié)語

2007年，喬納森·卡普蘭和艾瑞 ·布朗斯坦發(fā)明了一種簡單的便攜式攝像機Flip，在美國便攜式攝像機市場上掀起了一股狂潮。與此同時，索尼和松下等公司為了搶占市場，忙著向自己的攝像機產(chǎn)品中增加一些高級功能，如添加好萊塢電影式字幕等視頻特效。

但Flip攝像機卻贏得了市場，出貨直接上升百萬臺，而當(dāng)時全美國市場的攝像機銷量只有600萬臺。根本原因就在于Flip的交互設(shè)計極為簡單，甩開了一切不必要的功能。沒有連接線，只有9個鍵，甚至連軟件驅(qū)動CD都沒有——所有必需的軟件都保存在攝像機內(nèi)，F(xiàn)lip連上電腦就會自動載入。

雖然如今Flip已經(jīng)退出歷史舞臺，但這個故事再度表明了人機的交互方式對于人的選擇極為重要。反觀XR設(shè)備，操作上的不方便一直被詬病，甚至已成為很多人棄用的一大理由之一。

未來XR的交互方式必然要往更加簡單的方向發(fā)展，以簡單的交互方式為重點反向挖掘應(yīng)用場景，如搭載裸手交互的小游戲，只要游戲內(nèi)容足夠有趣，小游戲則更容易風(fēng)靡市場；結(jié)合語音識別的應(yīng)用工具，如語言學(xué)習(xí)、實時翻譯等。