VR/AR/MR-空間交互設(shè)計之“手勢交互”
隨著空間計算這個概念的提出與VR時代的到來,空間交互這類全新的交互方式也出現(xiàn)在我們的視野當(dāng)中,這篇文章里,作者就探討了空間交互方式之一,即手勢交互,一起來看看作者總結(jié)的手勢交互設(shè)計所需要注意的那些問題。
一、什么是空間交互設(shè)計
蘋果vision pro發(fā)布會上提到,繼桌面和移動計算之后,空間計算時代已然到來。不難理解,空間計算的說法是圍繞3D、VR、AR技術(shù)在三維空間中的一種計算方式,我們所感知和交互的信息,將在虛擬和真實的三維空間中呈現(xiàn),而不是被束縛在電腦、平板或手機等設(shè)備中有限的平面空間里,由此帶來了全新的交互方式,那么圍繞空間交互的新方式對空間對象進行交互設(shè)計即為空間交互設(shè)計。
空間交互方式或介質(zhì)有:手勢、眼睛、語音和外設(shè)(手柄控制器或鍵鼠)等,本期我們聊一聊空間交互方式之一:手勢交互。
二、手勢交互方式
手勢交互并不陌生,在平板或手機端我們常常利用手指進行觸控點擊、滑動、放縮、拖拽等,空間交互中同樣定義了類似的交互?;诳臻g環(huán)境中的交互手勢分為非直接手勢和直接手勢。
直接手勢。是指直接與空間對象進行觸控,屬于近距離可觸達的交互,用戶用手指靠近虛擬對象來輕觸它。例如,對空間中虛擬物體進行移動、縮放、輕觸點擊等。直接手勢的方式下,用戶必須將手靠近交互對象。
非直接手勢。遠距離情形下對當(dāng)前獲得焦點的對象產(chǎn)生互動。獲取焦點的方式有很多種,常見的是通過眼睛注視、手部射線來鎖定空間中的某一個對象或組件來獲取焦點。
用戶聚焦到某個對象或控件后,可以用一個或多個手指動作快速操作對象。
三、蘋果Vision Pro手勢交互剖析
1. 基礎(chǔ)性直接手勢
基處性直接手勢和延伸說明:
- 輕觸:直接選擇或激活對象。
- 按?。捍蜷_關(guān)聯(lián)菜單。
- 輕觸并拖移:將對象移到新位置。
- 輕觸兩下:預(yù)覽對象或文件;在編輯情境中選擇字詞。
- 輕掃:顯示操作和控件;關(guān)閉視圖;滾動。
- 雙手捏合并拖移:放大或縮小。
- 雙手捏合并沿圓弧拖移:旋轉(zhuǎn)對象。
2. 非直接手勢
非直接手勢會影響當(dāng)前獲得焦點的對象。例如,用戶聚焦某個控件后,可以用其中一根手指快速輕點拇指做出非直接輕點手勢來激活或選擇控件。visionOS 默認支持非直接手勢。
非直接手勢的特點是:通常較為快速(因為用戶可快速看向不同方向)和舒適。非直接手勢,無論用戶在空間中處于什么位置都可以讓用戶與可聚焦的任何對象交互,用戶不必靠近去用手觸及對象。
蘋果公司歷來重視用戶交互體驗設(shè)計,對于交互反饋狀態(tài)也要求比較極致。
四、微軟hololens手勢交互剖析
1. 基礎(chǔ)性直接手勢
指尖操作說明:
在 HoloLens 2 上,用戶的手部將被識別并解釋為左右手骨架模型。為了實現(xiàn)直接用手觸摸全息影像的思路,理想情況下,可將 5 個碰撞體附加到每個手部骨架模型的 5 個指尖。但是,由于缺少觸覺反饋,使用 10 個可碰撞指尖可能會導(dǎo)致全息影像中發(fā)生意外且不可預(yù)測的碰撞。
建議只在每個食指上放置一個碰撞體??膳鲎驳氖持钢讣馊钥沙洚?dāng)涉及其他手指的各種觸摸手勢的觸摸點。觸摸手勢包括一指按壓、一指點擊、兩指按壓、五指按壓,如圖所示。
延伸說明:
2D 蓋板是用于承載 Web 瀏覽器等 2D 應(yīng)用內(nèi)容的全息容器。通過直接操作來與 2D 蓋板交互的設(shè)計概念和與物理觸摸屏交互時一樣。
延伸說明:
2D 面板是用于承載 Web 瀏覽器等 2D 應(yīng)用內(nèi)容的全息容器。通過直接操作來與 2D 蓋板交互的設(shè)計概念和與物理觸摸屏交互時一樣。
延伸說明:
HoloLens 2 可讓用戶將邊界框應(yīng)用到每個 3D 對象,以便用手引導(dǎo)和操作 3D 全息圖對象。邊界框通過其鄰近著色器提供更好的深度感。使用邊界框可以通過兩種設(shè)計方法來操作 3D 對象。
微軟hololens,其直接手勢交互(微軟稱之為近距離交互)同樣強調(diào)要有交互反饋:
HoloLens 2 支持關(guān)節(jié)手部跟蹤進行交互,讓你能夠與對象進行交互。如果沒有觸覺反饋和完美的深度感知,就很難判斷你的手離物體有多遠,或者你是否在觸摸它。重要的是提供足夠的視覺提示來傳達對象的狀態(tài)。
使用視覺反饋傳達以下狀態(tài):
- “默認(觀察)”:對象的默認空閑狀態(tài)。
- “懸停”:當(dāng)手接近全息影像時,更改視覺效果以傳達手的目標。
- “距離和交互點”:當(dāng)手接近全息影像時,設(shè)計反饋來傳達預(yù)測的交互點,以及手指與對象的距離。
- “觸摸開始”:更改視覺效果(光、顏色)以傳達觸摸發(fā)生。
- “已抓取”:抓取對象后,更改視覺效果(光、顏色)。
- “觸摸結(jié)束”:觸摸結(jié)束后,更改視覺效果(光、顏色)。
2. 非直接手勢
非直接手勢會影響當(dāng)前獲得焦點的對象。例如,用戶聚焦某個控件后,可以用其中一根手指快速輕點拇指做出非直接輕點手勢來激活或選擇控件。
非直接手勢的特點是:通常較為快速(因為用戶可快速看向不同方向)和舒適。非直接手勢,無論用戶在空間中處于什么位置都可以讓用戶與可聚焦的任何對象交互,用戶不必靠近去用手觸及對象。
微軟hololens,其非直接手勢交互(微軟稱之為遠距離交互),其交互反饋建議是:
對于用戶可以與凝視、手部射線交互的任何對象,可建議采用三種交互方式并使用不同的視覺狀態(tài)提示。可以使用突出顯示或縮放等技術(shù)為用戶的輸入狀態(tài)提供視覺提示。
可以使用突出顯示或縮放等技術(shù)為用戶的輸入狀態(tài)提供視覺提示。在混合現(xiàn)實中,可以在“開始”菜單和應(yīng)用欄按鈕上找到可視化不同輸入狀態(tài)的示例。
五、手勢交互設(shè)計需要注意哪些問題
1. 舒適性原則
舒適性原則。考慮人體工程學(xué)和舒適性,首選非直接手勢。
以vision pro空間手勢交互設(shè)計規(guī)范為例,用戶通??奢p松執(zhí)行非直接手勢,因為無需將手移到特定位置。將直接手勢保留給想邀請用戶操控附近虛擬對象的情況。避免需要特定身體移動或姿勢來輸入。
優(yōu)秀的自定義手勢應(yīng)對用戶的身體來說易于執(zhí)行,尤其是長時間執(zhí)行。如果采用直接手勢,請確保交互式內(nèi)容不會距離過遠,并且用戶無需長時間與其交互。
2. 簡單性原則
簡單性原則。優(yōu)先采用簡單的手勢進行常用交互。對許多用戶而言,多指或多手手勢等復(fù)雜手勢、長按或需要重復(fù)移動的手勢可能具有挑戰(zhàn)性。采用盡可能簡單的手勢可改善交互體驗。
3. 一致性原則
一致性原則。一致的使用體驗。確保在同一個項目采用一致的交互方式,減少用戶對交互方式的熟悉成本,將精力聚焦在內(nèi)容的體驗上。
4. 去重新原則
去重性原則。需要進行自定義手勢時,盡量不與用戶已知的手勢過于相似。
5. 獨特性原則
獨特性原則。可根據(jù)項目特點,自定義一些適合項目獨特交互的手勢可能更易于用戶發(fā)現(xiàn)和記住,同時也增添了體驗的樂趣。但需要考慮去重性。另外,慎用太多的自定義的、獨特的手勢,因為讓用戶記住自定義手勢要用哪只手會增加其認知負荷,還會對一些有習(xí)慣性手勢或四肢缺陷的用戶不友好。
6. 易解釋原則
易解釋原則。如果你無法用簡單的語言和圖形描述自定義手勢,可能意味著該手勢對用戶來說也難以學(xué)習(xí)和執(zhí)行。
7. 反饋性原則
反饋性原則。所有交互要有實時的反饋很重要,特別是在虛擬空間中進行對象或空間的操作,一定的反饋能夠讓用戶感知到操作。反饋的方式根據(jù)不同的交互對象或內(nèi)容,有不同的反饋方式,如添加聲音、動效、改變顏色透明度等樣式或顯示3D物體邊界框等。
本文由 @XR元培坊 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議。
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
- 目前還沒評論,等你發(fā)揮!