AI/AR 眼鏡是新興的 AI 硬件明星產(chǎn)品，但如 Ray-Ban Meta 等產(chǎn)品因系統(tǒng)封閉限制了第三方應(yīng)用開發(fā)。本文介紹了開發(fā)者們?yōu)?AI/AR 眼鏡構(gòu)建的創(chuàng)新應(yīng)用，如陌生人信息獲取、利用 ChatGPT 提升體驗(yàn)等，也提到了開放式 AI 眼鏡平臺(tái)的探索，展示了其在內(nèi)容生態(tài)上的巨大潛力。

AI眼鏡目前可謂是明星AI硬件產(chǎn)品，一眾企業(yè)下場(chǎng)，Ray-Ban Meta銷量爆火并受到了很多矚目。

由于AI眼鏡還屬于一個(gè)新興品類，背后仍有很多有待挖掘的需求。本文將聚焦于一些AI眼鏡開發(fā)者以及極客玩家，并從中一窺這些用戶為眼鏡所構(gòu)建的創(chuàng)新用例。

封閉的Ray-Ban Meta，如何獲得第三方應(yīng)用體驗(yàn)？

Ray-Ban Meta無(wú)疑是AI眼鏡市場(chǎng)的典型代表，銷量已經(jīng)破兩百萬(wàn)，產(chǎn)品主打第一視角拍照/錄像、AI以及音樂(lè)播客功能，這些功能獲得了普通消費(fèi)者的眾多好評(píng)。但另一邊，Ray-Ban Meta系統(tǒng)偏封閉，直到現(xiàn)在Meta都沒(méi)有對(duì)外推送相應(yīng)的SDK，這導(dǎo)致了開發(fā)者無(wú)法為這款設(shè)備開發(fā)更多第三方應(yīng)用。

即便如此，市面上還是出現(xiàn)了一些繞過(guò)Ray-Ban Meta硬件權(quán)限從而實(shí)現(xiàn)軟件開發(fā)的案例。去年曾有兩名哈佛學(xué)生基于Ray-Ban Meta實(shí)現(xiàn)了自動(dòng)獲取陌生人姓名、家庭住址、電話號(hào)碼以及親屬姓名等功能。由于這背后涉及到了與每個(gè)人息息相關(guān)的隱私安全問(wèn)題，當(dāng)時(shí)還引起了一陣社會(huì)熱議。

B端究竟需要什么样的产品经理？

B端产品经理都是以提升供应侧的工作效率为目的，所以B端需求主要是以业务问题为导向。 这个是B端产品比较重要的一点，B端产品是服务于一个主体 ...

查看详情 >

前面提到，Ray-Ban Meta并未向開發(fā)者開放眼鏡的攝像頭權(quán)限，他們之所以能夠?qū)崿F(xiàn)這一點(diǎn)，實(shí)際上是用了一個(gè)討巧的解決方案：Ray-Ban Meta支持通過(guò)Facebook、Instagram等社交平臺(tái)直播，因而可以設(shè)計(jì)一款檢測(cè)直播流畫面的軟件。當(dāng)AI識(shí)別相應(yīng)的人臉信息后便可通過(guò)眼鏡的藍(lán)牙輸出語(yǔ)音反饋。（Ps：Ray-Ban Meta支持單次直播時(shí)長(zhǎng)為30分鐘）。

圖源：X

除了相機(jī)權(quán)限外，Ray-Ban Meta第三方大模型的缺失也是很多用戶的一大遺憾。目前該設(shè)備運(yùn)行的是自家的Meta AI，但暫不支持ChatGPT、Gemini等其他主流AI工具。

曾有用戶對(duì)比了Meta AI與ChatGPT的AI能力，他認(rèn)為ChatGPT在分析圖像時(shí)很細(xì)致，并且回復(fù)問(wèn)題時(shí)可以做到更加全面，錯(cuò)誤率更低。而Meta AI回復(fù)內(nèi)容會(huì)相對(duì)簡(jiǎn)練，這可能對(duì)于語(yǔ)音交互會(huì)相對(duì)友好。在這種情況下，為Ray-Ban Meta引入ChatGPT想必能夠一定程度改善使用體驗(yàn)并豐富用戶的選擇面。

注：對(duì)比方式為記錄Meta AI的后臺(tái)圖片反饋，并將相同的圖片傳到ChatGPT進(jìn)行處理。

圖源：Medium

所幸的是，對(duì)于Ray-Ban Meta的第三方AI調(diào)用問(wèn)題，市面上也出現(xiàn)了一些解決方案。

其中最簡(jiǎn)單的方式莫過(guò)于將Ray-Ban Meta充當(dāng)為藍(lán)牙耳機(jī)使用，手機(jī)端打開第三方AI大模型的Live模式，然后就可以進(jìn)行對(duì)話了。

如果想要更進(jìn)一步，我們可以參考來(lái)自Medium用戶Gorjan Jovanovski的解決方案：

• 眼鏡可以通過(guò)語(yǔ)音指令向WhatsApp等APP聯(lián)系人發(fā)送語(yǔ)音、照片消息；
• 通過(guò)第三方程序檢測(cè)社交APP的消息動(dòng)態(tài)，并轉(zhuǎn)交ChatGPT進(jìn)行處理；
• 將AI生成內(nèi)容發(fā)送回聊天界面，眼鏡可以朗讀最新消息。

該方案可以順利實(shí)現(xiàn)Ray-Ban Meta對(duì)于ChatGPT的調(diào)用，但是局限在于整個(gè)鏈路較長(zhǎng)使得時(shí)延會(huì)明顯增加。

值得一提的是，對(duì)于國(guó)內(nèi)AI眼鏡，它們的AI大模型的選擇面以及豐富性簡(jiǎn)直完爆Ray-Ban Meta。很多硬件廠商試圖發(fā)揮中臺(tái)一類的角色，并通過(guò)接入各類模型以滿足用戶的不同需求。

如果再延伸來(lái)看，筆者認(rèn)為后續(xù)AI眼鏡可能會(huì)分為兩類：模型廠商、硬件廠商，它們產(chǎn)品的AI能力將會(huì)是封閉與開放的兩個(gè)代表。

開放式AI眼鏡嶄露頭角，開發(fā)者構(gòu)建了哪些內(nèi)容？

雖說(shuō)當(dāng)前AI眼鏡多以封閉為主，但市場(chǎng)上也已經(jīng)出現(xiàn)了一些主打開放的操作系統(tǒng)：

Android XR：這是一個(gè)由谷歌打造的AR/MR系統(tǒng)，發(fā)布于去年12月，后續(xù)將會(huì)搭載于谷歌、XREAL等眼鏡新品當(dāng)中。由于該系統(tǒng)仍屬于早期，目前暫未發(fā)現(xiàn)有相應(yīng)的眼鏡SDK發(fā)布。

Snap OS：Snap曾于去年九月發(fā)布了AR眼鏡新品Spectacles 5，并同步推出了Snap OS以及Lens Studio開發(fā)工具，眼鏡聚焦于部分國(guó)家的內(nèi)容開發(fā)者，設(shè)備訂閱價(jià)格為99美元/月 （美國(guó)）/110歐元/月（歐盟）。

圖源：Snap

Project Aria：這是一個(gè)Meta推出的AI眼鏡研究項(xiàng)目，已經(jīng)累計(jì)發(fā)布兩代硬件產(chǎn)品，并對(duì)外開放了相應(yīng)的研究套件，根據(jù)官網(wǎng)信息，產(chǎn)品主要面向“探索機(jī)器感知技術(shù)或其應(yīng)用的研究人員”。

AugmentOS：這是一個(gè)開源操作系統(tǒng)，由去中心化社區(qū)構(gòu)建而成，該系統(tǒng)已經(jīng)應(yīng)用于Even Realities G1、Vuzix Z100、Mentra Mach1等產(chǎn)品，開發(fā)者可以購(gòu)買相應(yīng)的設(shè)備進(jìn)行內(nèi)容開發(fā)。

據(jù)介紹，AugmentOS是一個(gè)基于云的操作系統(tǒng)，云端會(huì)接收并處理眼鏡端的數(shù)據(jù)，第三方APP則可以“外掛”于這個(gè)系統(tǒng)之上，這樣能夠有效簡(jiǎn)化應(yīng)用開發(fā)流程。

圖源：AugmentOS

Brilliant Labs：這是一家開源AR眼鏡開發(fā)商，去年2月曾推出了AR眼鏡Frame，產(chǎn)品聚焦于內(nèi)容開發(fā)者，并相應(yīng)推出了Frame SDK開發(fā)套件。

Brilliant Labs官網(wǎng)信息指出，“Frame沒(méi)有自己的應(yīng)用啟動(dòng)器或傳統(tǒng)的應(yīng)用安裝系統(tǒng)。要與他人分享您的Frame應(yīng)用，請(qǐng)通過(guò)App Store、Google Play或開源代碼庫(kù)等常規(guī)分發(fā)渠道發(fā)布您的應(yīng)用?！?/p>

圖源：Brilliant Labs

除了以上，AR眼鏡廠商雷鳥創(chuàng)新、Rokid、星紀(jì)魅族、影目、XREAL等也曾對(duì)外推送了AR眼鏡SDK，這里不再進(jìn)一步贅述。

雖說(shuō)以上所提到的這些輕量化AI/AR眼鏡以及操作系統(tǒng)仍屬于初期階段，不過(guò)即便如此，還是有不少開發(fā)者在此基礎(chǔ)之上構(gòu)建了不少應(yīng)用內(nèi)容。以下是筆者在社區(qū)論壇找到的部分案例。

全天候記憶能力

下圖中，名為@Lucas Builds The Future的YouTuber基于Frame開發(fā)出了一款具有全天候記憶能力的AR眼鏡應(yīng)用。它的工作原理是眼鏡每十五分鐘拍攝一張照片，而后照片信息將會(huì)交由AI處理并形成類似于日記本的數(shù)據(jù)。

后續(xù)如果用戶有需要，則能夠根據(jù)這些信息回溯曾經(jīng)所做過(guò)的事情，如快速想起“上周三的下午去了哪些地方”。

在筆者看來(lái)，設(shè)法補(bǔ)齊AI眼鏡的“記憶”能力，會(huì)是一個(gè)長(zhǎng)期的方向，同時(shí)這也是我最為期待的功能之一。@Lucas Builds The Future的低成本解決方案讓我們提前看到了未來(lái)。

圖源：YouTube @Lucas Builds The Future

AR眼鏡與機(jī)器狗進(jìn)行聯(lián)動(dòng)

此前分體式AR眼鏡的一大賣點(diǎn)在于可以連接無(wú)人機(jī)從而實(shí)現(xiàn)FPV飛行，現(xiàn)如今，開發(fā)者David K.更進(jìn)一步，基于Frame實(shí)現(xiàn)了對(duì)宇樹機(jī)器狗Go 1的控制。

如下圖所示，AR眼鏡屏幕會(huì)顯示當(dāng)前機(jī)器狗所看到的畫面，然后玩家可以基于手勢(shì)讓機(jī)器狗前后左右轉(zhuǎn)向，并實(shí)現(xiàn)擊落紙杯等操作。當(dāng)然，由于Frame的顯示分辨率不佳（640×400，彩色OLED屏幕），這是阻礙體驗(yàn)的一環(huán)。

David K.在介紹中指出，Brilliant Frames通過(guò)低功耗藍(lán)牙 (BLE) 進(jìn)行通信，每個(gè)像素4位，最多可渲染16種顏色。在這種資源受限的環(huán)境中，圖像質(zhì)量和色彩之間總是需要權(quán)衡取舍?！?/p>

圖源：Linkedin @David K.

熱狗檢測(cè)器

同樣基于Frame平臺(tái)開發(fā)，開發(fā)者CitizenOne開發(fā)了一款讓人有點(diǎn)摸不著頭腦的應(yīng)用：眼鏡可以檢測(cè)眼前的物品并辨別究竟是不是熱狗。

AR濾鏡

提到AR濾鏡，這幾乎已經(jīng)成為了Snap的代名詞。實(shí)際上，自從Spectacles 5發(fā)布以來(lái)，再配備Snap的一些激勵(lì)計(jì)劃，平臺(tái)已經(jīng)吸引了不少開發(fā)者并為之構(gòu)建了很多優(yōu)質(zhì)AR濾鏡內(nèi)容。

以下是個(gè)人比較喜歡的一個(gè)投籃AR濾鏡，它可以顯示投籃軌跡以及記錄分?jǐn)?shù)。

圖源：Snap

引入拍照手勢(shì)

今年年初，AugmentOS舉行了一場(chǎng)黑客馬拉松活動(dòng)，開發(fā)者@Philippe實(shí)現(xiàn)了AR眼鏡屏幕實(shí)時(shí)顯示取景框、基于手勢(shì)實(shí)現(xiàn)拍攝/畫面縮放等功能。

早些時(shí)候，AI/AR眼鏡只能拍攝特定畫面，如果需要調(diào)整參數(shù)規(guī)格則需要通過(guò)APP進(jìn)行處理，后續(xù)引入手勢(shì)可能會(huì)是一個(gè)提升體驗(yàn)的方式。

圖源：X平臺(tái)用戶 Philippe

臟話檢測(cè)

程序員Roger開發(fā)了一款“臟話罐”APP，它的玩法很簡(jiǎn)單，當(dāng)設(shè)備檢測(cè)到用戶正在說(shuō)某些不文明用語(yǔ)時(shí)，屏幕會(huì)自動(dòng)彈出警告信息。（AI眼鏡界的手工耿）

圖源：X平臺(tái)用戶 Roger

運(yùn)行小游戲、播放視頻

目前一體式AR眼鏡多會(huì)傾向于采用Micro-LED屏幕，而它在畫面色彩以及分辨率等方面還不足以支撐游戲、視頻等體驗(yàn)，因而這兩項(xiàng)功能會(huì)被很多人下意識(shí)忽略。即便如此，一些開發(fā)者依舊試圖探索這方面的可能性。

下圖中，開發(fā)者Kevin實(shí)現(xiàn)了在單色Micro-LED屏幕的AR眼鏡中播放《Bad Apple》。

圖源：X平臺(tái)用戶 Kevin

開發(fā)者Abeer Vaishnav則成功實(shí)現(xiàn)了在AR眼鏡運(yùn)行Chrome瀏覽器經(jīng)典的恐龍小游戲，它需要通過(guò)點(diǎn)擊鏡框進(jìn)行操作。

圖源：X平臺(tái)用戶 Abeer Vaishnav

寫在最后

AI/AR眼鏡仍處于早期階段，不過(guò)從開發(fā)者的響應(yīng)來(lái)看，產(chǎn)品的硬件并不能局限軟件的想象空間。

眼鏡的性能、續(xù)航、重量不可能三角依然成立，但也希望后續(xù)產(chǎn)品能加速迭代，從而給消費(fèi)者提供更豐富的內(nèi)容生態(tài)體驗(yàn)。