如何理解Vision Pro空間計(jì)算中的3D建模、3D影像技術(shù)？Apple Vision Pro 所需要的 3D 視頻技術(shù)是什么？本文作者從最近國(guó)外某團(tuán)隊(duì)發(fā)布的一條 AR 建模應(yīng)用視頻切入，嘗試發(fā)表了他的看法，一起來(lái)看一下。

最近國(guó)外某團(tuán)隊(duì)發(fā)布了一條 AR 建模應(yīng)用視頻，演示了使用 iPhone 手機(jī)對(duì)廣場(chǎng)上的雕塑進(jìn)行快速掃描、建模，并重新使用手機(jī) AR 投射到廣場(chǎng)上。

這當(dāng)然不是什么新鮮的技術(shù)，他們只是把蘋果 WWDC2023 上發(fā)布的ObjectCapture樣例項(xiàng)目下載了下來(lái)，從視頻上顯示的 UI 界面來(lái)看，可能一行代碼都沒(méi)改過(guò)（我在視頻評(píng)論中詢問(wèn)了作者，結(jié)果很快評(píng)論被刪除了???♂?）。

其實(shí)早在 WWDC21 的時(shí)候蘋果已經(jīng)發(fā)布了Photogrammetry（攝影測(cè)量法）接口，只不過(guò)受限于移動(dòng)設(shè)備芯片算力，只能通過(guò) iPhone 或 iPad 連續(xù)拍攝物體多角度圖像，然后在 macOS 中執(zhí)行建模的步驟：

Object Capture

在WWDC23-Meet Object Capture for iOS視頻中， 展示了通過(guò)ObjectCapture和PhotogrammetrySession直接在 iPhone/iPad 上進(jìn)行 3D 掃描建模的方法：

WWDC23 10191

最近官方文檔上更新了示例代碼，下載后可以通過(guò) Xcode（15.0+）編譯到你的設(shè)備上，當(dāng)然這對(duì)設(shè)備參數(shù)有一定的要求，至少需要 A14 仿生芯片和 LiDAR 傳感器，并更新至 iOS/iPadOS 17 ：

實(shí)際運(yùn)行后建模效果如下：

目前移動(dòng)設(shè)備上支持最低面數(shù)和尺寸規(guī)格的建模，如需要更細(xì)致的模型仍需要在 macOS 上執(zhí)行：

通過(guò)移動(dòng)設(shè)備即可讓用戶完成對(duì)現(xiàn)實(shí)世界中的物體快速掃描、建模，是蘋果為空間計(jì)算的內(nèi)容生態(tài)提前做好的技術(shù)布局。

除了 3D 模型之外，Vision Pro 還提供了更加令人身臨其境的 3D 影像功能：

3D Photo/Video

和 3D 模型相比，它更像是我們熟悉的 3D 電影，只不過(guò)是以照片或短片的形式出現(xiàn)。出于 Apple Vision Pro 嚴(yán)格的用戶隱私考慮，以及它目前并不適合戴到室外場(chǎng)景的設(shè)計(jì)，iPhone 自然而然將成為最適合進(jìn)行 3D 影像創(chuàng)作的工具（甚至有謠言稱 iPhone 15 將會(huì)有一款 Ultra 機(jī)型可以為Apple Vision Pro 拍攝 3D 影像，但是國(guó)內(nèi)媒體信源引用著名的 MacRumors 網(wǎng)站，而 MacRumors 引用的是 Weibo user ??）。

當(dāng)然蘋果已經(jīng)提前準(zhǔn)備好了跨設(shè)備內(nèi)容共享技術(shù)，包括：Continuity Camera、 Handoff 、 AirDrop 等。（不得不吐槽這個(gè)官方宣傳圖片，估計(jì)可以把喬布斯氣活過(guò)來(lái)）

Continuity Camera

值得說(shuō)明的是，雖然 iPhone 幾乎必將成為 3D 影像和 3D 建模的創(chuàng)作工具，但兩者還是有些區(qū)別。3D 影像利用的是人眼的雙目立體視覺(jué)，簡(jiǎn)單理解為對(duì)（水平方向上）雙眼所看內(nèi)容差異的還原，例如 3D 電影拍攝時(shí)所用的雙目相機(jī)（Apple Vision Pro 也是同樣的原理）：

而 3D 建模則是利用激光雷達(dá)（LiDAR）實(shí)現(xiàn)對(duì)縱向深度信息的還原，兩者之間雖然通過(guò)不同的方式實(shí)現(xiàn)對(duì)空間信息的還原，但無(wú)論是在最終應(yīng)用場(chǎng)景還是對(duì)信息采集設(shè)備的要求上都有所不同，因此并不能簡(jiǎn)單的將 ObjectCapture 看作是 Apple Vision Pro 所需要的 3D 視頻技術(shù)。

參考：

• 3D成像方法 匯總（原理解析）— 雙目視覺(jué)、激光三角、結(jié)構(gòu)光、ToF、光場(chǎng)、全息
• Future ‘iPhone Ultra’ Model Could Capture Spatial Photos and Videos for Vision Pro Headset