XR中注視追蹤技術(shù):現(xiàn)狀、應(yīng)用與發(fā)展趨勢(shì)
什么是注視追蹤技術(shù)?這項(xiàng)技術(shù)是一種用于獲取人眼注視的位置和注意力的專業(yè)性技術(shù),在部分領(lǐng)域、比如XR領(lǐng)域都有落地應(yīng)用。這篇文章里,作者就嘗試對(duì)XR技術(shù)領(lǐng)域中的注視追蹤技術(shù)的現(xiàn)狀、應(yīng)用與發(fā)展做了解讀,一起來(lái)看。
摘要:本文介紹了注視追蹤技術(shù)的定義和原理,其中涵蓋了外部傳感器和內(nèi)置傳感器兩種實(shí)現(xiàn)方式。通過(guò)觀察和分析眼球運(yùn)動(dòng),注視追蹤技術(shù)可以揭示個(gè)體對(duì)不同事物的關(guān)注程度以及信息獲取與加工過(guò)程。
此外,文章還探討了該技術(shù)在視覺(jué)效果改進(jìn)、用戶交互體驗(yàn)等領(lǐng)域應(yīng)用,并詳細(xì)說(shuō)明了目前主流HMD產(chǎn)品中使用的不同注視追蹤方案。最后,文章提出了目前該技術(shù)面臨的挑戰(zhàn)和未來(lái)發(fā)展趨勢(shì)。
關(guān)鍵詞:注視追蹤技術(shù);HMD產(chǎn)品。
引言:注視追蹤技術(shù)是一項(xiàng)專業(yè)性工具,用于獲取人眼注視的位置和注意力。它基于神經(jīng)生理學(xué)和心理學(xué)原理,通過(guò)觀察眼球運(yùn)動(dòng)來(lái)揭示個(gè)體對(duì)不同事物的關(guān)注程度以及信息獲取與加工過(guò)程。
本文將介紹注視追蹤技術(shù)的定義、實(shí)現(xiàn)方法以及在視覺(jué)效果改進(jìn)、用戶交互體驗(yàn)等領(lǐng)域的廣泛應(yīng)用。同時(shí),我們還將探討目前主流HMD產(chǎn)品中采用的不同方案,并分析該技術(shù)面臨的挑戰(zhàn)和未來(lái)發(fā)展趨勢(shì)。
隨著科學(xué)研究和市場(chǎng)需求的不斷變化,注視追蹤技術(shù)有望持續(xù)創(chuàng)新并推動(dòng)擴(kuò)增現(xiàn)實(shí)(XR)技術(shù)領(lǐng)域向前發(fā)展。
一、什么是注視追蹤技術(shù)
1. 定義和原理
注視追蹤技術(shù)是一種用于獲取人眼注視的位置和注意力的專業(yè)性技術(shù)。它基于神經(jīng)生理學(xué)和心理學(xué)的原理,通過(guò)觀察并分析眼球運(yùn)動(dòng)來(lái)揭示個(gè)體對(duì)不同事物的關(guān)注程度以及信息獲取與加工過(guò)程。
圖一 注視追蹤技術(shù)原理圖
2. 實(shí)現(xiàn)方法:外部傳感器vs內(nèi)置傳感器
外部傳感器(如圖二 眼動(dòng)追蹤系統(tǒng)):
這種方法使用外置設(shè)備(例如紅外攝像頭或光儀)來(lái)捕捉被測(cè)試者眼睛移動(dòng)的軌跡,并計(jì)算出準(zhǔn)確且精細(xì)的注視點(diǎn)坐標(biāo)。這些外部傳感器可安裝在監(jiān)測(cè)系統(tǒng)、移動(dòng)設(shè)備或虛擬現(xiàn)實(shí)頭顯中。其優(yōu)勢(shì)包括高度精準(zhǔn)、廣泛適應(yīng)性以及非侵入式特點(diǎn),因此適合用于研究實(shí)驗(yàn)室環(huán)境和市場(chǎng)調(diào)查等領(lǐng)域。
圖二 外置眼動(dòng)追蹤系統(tǒng)
內(nèi)置傳感器(如圖三 電腦內(nèi)置攝像頭):
此方法借助內(nèi)置于智能手機(jī)、平板電腦或虛擬現(xiàn)實(shí)設(shè)備等產(chǎn)品之中已有的相機(jī)和其他相關(guān)硬件來(lái)檢測(cè)用戶目光所集中之處。通過(guò)利用圖像處理或計(jì)算機(jī)視覺(jué)技術(shù)[1],內(nèi)置傳感器能夠追蹤眼球運(yùn)動(dòng)并獲取注視點(diǎn)數(shù)據(jù)。此方法的優(yōu)勢(shì)在于使用便捷且與現(xiàn)有設(shè)備無(wú)需額外配件,適合進(jìn)行用戶體驗(yàn)研究、市場(chǎng)調(diào)查及個(gè)人生活習(xí)慣分析等實(shí)際應(yīng)用。
圖三 電腦內(nèi)置攝像頭
通過(guò)上述介紹我們可知道,注視追蹤技術(shù)是一種專業(yè)性工具,可以幫助我們了解人類(lèi)對(duì)事物的注意力集中程度和思維加工過(guò)程。其實(shí)現(xiàn)方法包括外部傳感器和內(nèi)置傳感器兩種方式,各自具有特點(diǎn)和適應(yīng)領(lǐng)域不同,并可廣泛應(yīng)用于實(shí)驗(yàn)室環(huán)境和市場(chǎng)調(diào)查。
二、注視追蹤技術(shù)的應(yīng)用領(lǐng)域
1. 視覺(jué)效果改進(jìn):真實(shí)感、逼真度提升
注視追蹤技術(shù)在游戲開(kāi)發(fā)、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等領(lǐng)域有著廣泛的應(yīng)用。[2]通過(guò)準(zhǔn)確地捕捉用戶眼球的注視點(diǎn),可以使系統(tǒng)對(duì)用戶焦點(diǎn)所在的區(qū)域進(jìn)行更精細(xì)和高保真度的渲染。這種技術(shù)為電影特效、計(jì)算機(jī)動(dòng)畫(huà)和游戲體驗(yàn)帶來(lái)了巨大突破,能夠讓用戶更加沉浸于虛擬世界中,并提供出色的觀看體驗(yàn)。
2. 用戶交互體驗(yàn):減少運(yùn)動(dòng)疲勞、提高操作精確度
在人機(jī)交互方面,注視追蹤技術(shù)也起到了重要作用【3】。通過(guò)監(jiān)測(cè)用戶眼睛移動(dòng)軌跡,可以預(yù)測(cè)他們感興趣或關(guān)注的元素,并將相關(guān)信息及時(shí)展示給他們。這能夠顯著降低用戶尋找目標(biāo)物品或信息而產(chǎn)生的頭部或手臂運(yùn)動(dòng)量,從而減少運(yùn)動(dòng)疲勞并提高工作效率。此外,在需要精確操作時(shí)(如CAD設(shè)計(jì)、醫(yī)學(xué)手術(shù)等),注視追蹤技術(shù)也能夠提供更準(zhǔn)確的目標(biāo)選擇和交互指令,從而改善用戶操作精度。
通過(guò)上面的例子我們可以知道,注視追蹤技術(shù)在視覺(jué)效果改進(jìn)和用戶交互體驗(yàn)等方面具有廣泛的應(yīng)用。它可以實(shí)現(xiàn)對(duì)用戶關(guān)注區(qū)域的精準(zhǔn)渲染,提升游戲、虛擬現(xiàn)實(shí)及增強(qiáng)現(xiàn)實(shí)的真實(shí)感和逼真度。同時(shí),通過(guò)監(jiān)測(cè)眼球運(yùn)動(dòng)軌跡,該技術(shù)還能夠降低用戶運(yùn)動(dòng)疲勞,并大幅提高操作精確性,在工作效率和用戶體驗(yàn)方面帶來(lái)顯著改善。
三、目前注視追蹤技術(shù)的發(fā)展?fàn)顩r
1. 主流HMD產(chǎn)品中使用的注視追蹤方案概述
1)OculusRiftS/Quest系列
OculusRiftS(如圖四)和OculusQuest系列使用了基于外部傳感器的光學(xué)窺探方法,通過(guò)紅外攝像頭來(lái)捕捉用戶眼球運(yùn)動(dòng)軌跡并提供高精度的注視點(diǎn)數(shù)據(jù)。這種方案可以實(shí)現(xiàn)較大范圍且準(zhǔn)確地跟蹤眼睛移動(dòng),為虛擬現(xiàn)實(shí)體驗(yàn)增添真實(shí)感。
圖四 OculusRiftS
圖五 OculusQuest
2)HTCVive/VivePro系列
HTCVive(如圖六)和VivePro(如圖七)系列采用了基站式光學(xué)定位系統(tǒng),通過(guò)安裝在房間角落或其他適當(dāng)位置上的紅外標(biāo)簽進(jìn)行定位。此方案可以提供更廣泛而穩(wěn)定的跟蹤范圍,并能夠以較快速度跟隨用戶眼球移動(dòng)。
圖六 HTCVive
圖七 VivePro
3)PlayStationVR
PlayStationVR(如圖八)利用內(nèi)置傳感器與可見(jiàn)光信號(hào)處理算法相結(jié)合,記錄和分析被測(cè)試者的眼球運(yùn)動(dòng)情況。該方法具有較低成本、無(wú)需額外硬件支持等優(yōu)勢(shì),并在游戲市場(chǎng)取得了一定成功。
圖八 PlayStationVR
4)ValveIndex
ValveIndex(如圖九)采用了外部紅外攝像頭和基于反射技術(shù)的傳感器,以獲得更高精度和跟蹤速率。這種方案在準(zhǔn)確性、延遲和用戶體驗(yàn)方面提供了最佳的結(jié)果,并被認(rèn)為是目前注視追蹤技術(shù)中最先進(jìn)的解決方案之一。
圖九 ValveIndex
2. 不同方案之間的比較評(píng)估
在選擇使用哪種注視追蹤技術(shù)時(shí),需要綜合考慮以下因素進(jìn)行評(píng)估比較:
- 運(yùn)動(dòng)跟蹤范圍和角度覆蓋程度:不同產(chǎn)品可能有所差異,在設(shè)計(jì)或游戲應(yīng)用中,對(duì)于眼睛運(yùn)動(dòng)范圍和觀察角度是否能夠完全捕捉十分關(guān)鍵。
- 跟隨速率和延時(shí):快速而準(zhǔn)確地實(shí)時(shí)追蹤眼球運(yùn)動(dòng)對(duì)于提供流暢、真實(shí)的交互體驗(yàn)至關(guān)重要。
- 絕對(duì)定位與相對(duì)定位能力:某些解決方案可以根據(jù)用戶位置進(jìn)行絕對(duì)定位(例如基站式系統(tǒng)),而其他解決方法僅支持相對(duì)位置變化監(jiān)測(cè)(例如內(nèi)置傳感器)。具體需求取決于應(yīng)用場(chǎng)景。
- 成本考量:硬件設(shè)備成本也是選擇注視追蹤技術(shù)時(shí)需要考慮的一個(gè)重要因素。不同方案的成本和可行性會(huì)根據(jù)產(chǎn)品型號(hào)、制造成本以及特定市場(chǎng)需求而有所差異。
目前主流HMD產(chǎn)品中使用了各種不同類(lèi)型的注視追蹤技術(shù),包括基于外部傳感器的光學(xué)窺探方法、基站式光學(xué)定位系統(tǒng)以及內(nèi)置傳感器結(jié)合可見(jiàn)光信號(hào)處理算法等。每種方案都具有優(yōu)勢(shì)和適用領(lǐng)域,并可以通過(guò)運(yùn)動(dòng)跟蹤范圍、跟隨速率、絕對(duì)/相對(duì)定位能力以及成本等因素進(jìn)行評(píng)估比較,以滿足特定需求或應(yīng)用場(chǎng)景。
四、注視追蹤技術(shù)面臨的挑戰(zhàn)與未來(lái)發(fā)展趨勢(shì)
1. 注視追蹤技術(shù)面臨的挑戰(zhàn)
1)高精度與實(shí)時(shí)性需求
當(dāng)前的注視追蹤技術(shù)在高動(dòng)態(tài)環(huán)境和快速移動(dòng)中仍然面臨一定的挑戰(zhàn)。由于用戶眼球運(yùn)動(dòng)非??焖偾叶鄻踊?,系統(tǒng)需要能夠提供高精度和實(shí)時(shí)性數(shù)據(jù)以滿足交互體驗(yàn)或研究需求。
2)技術(shù)穩(wěn)定性和可靠性保證
要使注視追蹤技術(shù)真正實(shí)用并在各種現(xiàn)場(chǎng)應(yīng)用中可靠地工作,關(guān)鍵在于其穩(wěn)定性和準(zhǔn)確性。包括設(shè)備校準(zhǔn)、誤差糾正以及光線干擾等因素都需要得到有效處理,從而確保持久的穩(wěn)定使用,并減少可能導(dǎo)致不正確結(jié)果或誤導(dǎo)診斷的錯(cuò)誤讀數(shù)。
3)設(shè)備的舒適度和輕便程度
對(duì)于長(zhǎng)時(shí)間使用或移動(dòng)設(shè)備而言,注視追蹤設(shè)備必須具有良好舒適感以避免對(duì)用戶產(chǎn)生疲勞感并限制他們活動(dòng)自如。因此,在未來(lái)發(fā)展過(guò)程中,注重設(shè)備的舒適度和輕便程度已成為一個(gè)關(guān)鍵挑戰(zhàn)。
2. 發(fā)展趨勢(shì)
1)更小、更輕、更強(qiáng)大的內(nèi)置傳感器技術(shù)加速發(fā)展
隨著新一代硬件和材料技術(shù)的不斷進(jìn)步【4】,注視追蹤技術(shù)將會(huì)變得更小巧、輕盈,并且能夠提供更高性能。這將使其在移動(dòng)設(shè)備等體積限制較大或?qū)τ谕獠總鞲衅鞔嬖诶щy的應(yīng)用領(lǐng)域中得到廣泛應(yīng)用。
2)基于視線追蹤的增強(qiáng)現(xiàn)實(shí)等新應(yīng)用場(chǎng)景
注視追蹤技術(shù)有潛力推動(dòng)各種新興應(yīng)用場(chǎng)景。其中,基于視線追蹤使用注釋增強(qiáng)現(xiàn)實(shí)(AR)是一個(gè)具有巨大發(fā)展?jié)摿Φ念I(lǐng)域。通過(guò)精確地跟蹤用戶目光,可以將虛擬信息與真實(shí)世界相結(jié)合,為用戶提供個(gè)性化而沉浸式的增強(qiáng)現(xiàn)實(shí)體驗(yàn)?!?】
3)改進(jìn)運(yùn)動(dòng)干擾問(wèn)題以提高使用體驗(yàn)
在未來(lái)發(fā)展過(guò)程中,注視追蹤技術(shù)需要面對(duì)并解決因頭部或手臂運(yùn)動(dòng)引起眼球運(yùn)動(dòng)干擾的問(wèn)題。通過(guò)研究和改進(jìn)算法,技術(shù)可以更好地解決這一挑戰(zhàn),提高使用體驗(yàn),并提供更準(zhǔn)確可靠的注視點(diǎn)數(shù)據(jù)。
注視追蹤技術(shù)面臨著高精度與實(shí)時(shí)性需求、技術(shù)穩(wěn)定性和可靠性保證以及設(shè)備舒適度和輕便程度等挑戰(zhàn)。然而,隨著內(nèi)置傳感器技術(shù)的不斷發(fā)展,注釋追蹤將變得更小、更輕盈并具有更強(qiáng)大功能。此外,在增強(qiáng)現(xiàn)實(shí)領(lǐng)域應(yīng)用中探索基于視線跟蹤的新機(jī)遇將成為未來(lái)發(fā)展趨勢(shì)之一,并通過(guò)改進(jìn)運(yùn)動(dòng)干擾問(wèn)題以提高使用體驗(yàn)。
五、總結(jié)與展望
1. 注視追蹤技術(shù)在HMD中的重要作用
注視追蹤技術(shù)在頭戴式顯示器(HMD)中扮演著至關(guān)重要的角色。通過(guò)準(zhǔn)確地捕捉用戶眼球運(yùn)動(dòng)和注視點(diǎn)位置,該技術(shù)能夠提高虛擬現(xiàn)實(shí)(VR)、增強(qiáng)現(xiàn)實(shí)(AR)和混合現(xiàn)實(shí)(MR)等體驗(yàn)?!?】它可以為虛擬場(chǎng)景提供更真實(shí)、沉浸式的效果,并顯著改善交互性與操作精確性。無(wú)論是在游戲、娛樂(lè)、培訓(xùn)還是醫(yī)療等領(lǐng)域,注視追蹤技術(shù)都可以大幅增強(qiáng)用戶的參與感和使用體驗(yàn)。
2. 預(yù)測(cè)注視追蹤技術(shù)將持續(xù)創(chuàng)新,并推動(dòng)XR技術(shù)領(lǐng)域的發(fā)展
在未來(lái),我們預(yù)計(jì)注視追蹤技術(shù)將持續(xù)創(chuàng)新并推動(dòng)擴(kuò)展風(fēng)格(R)領(lǐng)域向前發(fā)展。隨著科學(xué)研究及市場(chǎng)需求不斷變化,我們可以預(yù)見(jiàn)以下趨勢(shì):
- 更先進(jìn)而高度精準(zhǔn)的算法:通過(guò)應(yīng)用人工智能(AI)和機(jī)器學(xué)習(xí)(ML),可使注視追蹤技術(shù)變得更加智能化,從而實(shí)現(xiàn)更準(zhǔn)確、準(zhǔn)實(shí)時(shí)的注視點(diǎn)捕捉和分析。
- 硬件創(chuàng)新:隨著尺寸縮小和性能提升的需求不斷增長(zhǎng),預(yù)計(jì)將會(huì)出現(xiàn)更小巧、更輕盈且功能強(qiáng)大的傳感器設(shè)備。這些硬件創(chuàng)新將進(jìn)一步改善用戶體驗(yàn),并促使XR技術(shù)走入日常生活。
- 多模式交互:以眼球?yàn)橹鲗?dǎo)的注視追蹤技術(shù)可能與手勢(shì)識(shí)別、聲音控制等多種交互方式相結(jié)合,從而形成全方位且個(gè)性化的用戶體驗(yàn)【7】。
可見(jiàn),上述發(fā)展趨勢(shì)將推動(dòng)注視追蹤技術(shù)在HMD中不斷取得突破,并引領(lǐng)XR技術(shù)領(lǐng)域向前發(fā)展。通過(guò)持續(xù)創(chuàng)新、算法優(yōu)化和硬件進(jìn)步,我們有理由相信未來(lái)注視追蹤技術(shù)將成為真正普及并滿足廣泛應(yīng)用需求的核心技術(shù)之一。
參考文獻(xiàn):
[1]楊波. 增強(qiáng)現(xiàn)實(shí)中的跟蹤技術(shù)研究[D].電子科技大學(xué),2005.
[2]朱博. 視線追蹤技術(shù)及其在駕駛員與乘客監(jiān)測(cè)系統(tǒng)中的應(yīng)用研究[D].東北大學(xué),2013.
[3]劉靜. 淺析三維動(dòng)畫(huà)特效在動(dòng)畫(huà)電影中的應(yīng)用研究[D].東北師范大學(xué),2013.
[4]陳峰. 中國(guó)網(wǎng)絡(luò)游戲內(nèi)置廣告行業(yè)發(fā)展研究[D].廈門(mén)大學(xué),2009.
[5]周明. 技術(shù)創(chuàng)新對(duì)手機(jī)產(chǎn)業(yè)發(fā)展和手機(jī)企業(yè)市場(chǎng)績(jī)效的影響研究[D].湖南大學(xué),2016.
[6]帥陳穎,程可心,孫航.淺析江西省XR產(chǎn)業(yè)發(fā)展趨勢(shì)與對(duì)策建議[J].科技廣場(chǎng),2020(06):28-34.DOI:10.13838/j.cnki.kjgc.2020.06.004.
[7]史新燕. 體驗(yàn)經(jīng)濟(jì)視域下的VR廣告及其發(fā)展研究[D].廣西大學(xué),2017.
本文由 @人機(jī)交互小學(xué)生 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來(lái)自 Unsplash,基于 CC0 協(xié)議
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
- 目前還沒(méi)評(píng)論,等你發(fā)揮!