“AI 賦能 XR 創(chuàng)作，3D 內(nèi)容迎曙光?！?在科技飛速發(fā)展的當(dāng)下，AI 如何為 XR 內(nèi)容創(chuàng)作帶來新契機(jī)？其又將如何重塑 3D 內(nèi)容生態(tài)？

元橋2024年AI 3D生成又邁出了很大的一步。12月初，谷歌DeepMind發(fā)布了新一代世界模型Genie 2，可以「一張圖生成1分鐘游戲3D世界」，引發(fā)網(wǎng)友驚呼。而在谷歌發(fā)布Genie 2的前兩天，AI學(xué)者、斯坦福大學(xué)教授李飛飛公布了她的第一個(gè)空間智能創(chuàng)業(yè)項(xiàng)目：「僅憑借1張圖，就能生成一個(gè)3D游戲世界的AI系統(tǒng)」。幾乎同一時(shí)間，雙方發(fā)布的AI模型系統(tǒng)都瞄準(zhǔn)了3D世界。前不久，庫(kù)克曾在一次采訪中表示，“對(duì)于Vision Pro來說，最大考驗(yàn)是生態(tài)系統(tǒng)。”但這又不僅僅是Vision Pro面臨的難關(guān)，可以說這么多年整個(gè)XR生態(tài)的發(fā)展邏輯都是內(nèi)容要比硬件難推，算是XR行業(yè)的老問題。如今看來，生成式AI技術(shù)的大成熟已推動(dòng)AI 3D內(nèi)容創(chuàng)作進(jìn)入了新的時(shí)代。

?谷歌與李飛飛的又一次推進(jìn)，看見空間智能?2022年，谷歌發(fā)布AI 3D模型DreamFusion，突破了對(duì)傳統(tǒng)3D建模的限制，能夠通過簡(jiǎn)單的文本描述自動(dòng)生成高質(zhì)量的3D模型。這一創(chuàng)新使得3D建模變得更加智能化、簡(jiǎn)便化。同時(shí)DreamFusion的到來，也為游戲、VR、電影制作等行業(yè)帶來了很大的創(chuàng)作提升。從2023年開始，AI 3D開始受到業(yè)內(nèi)廣泛關(guān)注，當(dāng)年出現(xiàn)的新模型就有近20個(gè)，包括ProlificDreamer與One-2-3-45++等，很多團(tuán)隊(duì)已經(jīng)實(shí)現(xiàn)能夠從一句話或者一張圖生成高質(zhì)量的三維模型。雖然AI 3D模型的發(fā)展越來越熱鬧，但也有其不足的地方，主要是大多數(shù)AI 3D生成的方法都是借助「2D擴(kuò)散模型生成3D模型」的路徑。這種路徑一大問題就是耗時(shí)，ProlificDreamer作者就曾在知乎上表示這些方法目前的主要局限之一便是生成時(shí)間太慢。此外，還需要突破兩個(gè)關(guān)鍵的技術(shù)點(diǎn)，即：首先Loss的計(jì)算，利用預(yù)訓(xùn)練的2D文生圖模型，計(jì)算出三維表征渲染出的2D圖像和文本之間的Loss，間接判斷渲染出的圖像是否符合2D擴(kuò)散模型的先驗(yàn)知識(shí)。?其次通過NeRF、DMTet等可微分、可渲染的三維表征渲染2D圖像，然后用2D文生圖模型監(jiān)督蒸餾，將Loss得到的梯度回傳到這些表征當(dāng)中，從而實(shí)現(xiàn)幾何形狀和顏色的優(yōu)化，得到可用的3D模型。

DreamFusion的生成效果展示這一套邏輯走下來，雖然相較于傳統(tǒng)的模式已經(jīng)可以便捷地生成高質(zhì)量的3D模型，但距離普通用戶創(chuàng)作還是很遠(yuǎn)。但今年李飛飛與谷歌發(fā)布新的模型，直指UGC內(nèi)容創(chuàng)作平臺(tái)，暗隱了新一輪的內(nèi)容創(chuàng)作革命。12月3日，李飛飛創(chuàng)業(yè)公司W(wǎng)orld Labs展示了單圖生成3D世界的AI系統(tǒng)。李飛飛表示，“無論怎樣理論化這個(gè)想法，都很難用語(yǔ)言描述一張照片或一句話生成3D場(chǎng)景的互動(dòng)體驗(yàn)?！?

World Labs的單圖生成3D場(chǎng)景的效果演示除了可以實(shí)現(xiàn)單圖探索3D世界之外，還可以改變其中物體顏色，動(dòng)態(tài)調(diào)整背景光影，在場(chǎng)景中插入其他對(duì)象。你能夠像玩游戲那樣，自由地移動(dòng)相機(jī)來探索這個(gè)3D世界，淺景深、希區(qū)柯克變焦等操作均可行。英偉達(dá)高級(jí)研究科學(xué)家、李飛飛高徒Jim Fan總結(jié)道，“GenAI正在創(chuàng)造越來越高維度的人類體驗(yàn)快照；Stable Diffusion是2D快照；Sora是2D+時(shí)間維度的快照；而World Labs是3D、完全沉浸式的快照?！倍驮跇I(yè)內(nèi)都還沉浸在World Labs所展示的3D世界系統(tǒng)時(shí)，谷歌DeepMind又相繼發(fā)布了大型基礎(chǔ)世界模型Genie 2，再次點(diǎn)燃了人們的想象空間。Genie 2可根據(jù)一張圖生成可供人類或AI智能體游玩的無限3D世界。也就是說，Genie 2不僅能創(chuàng)造出一個(gè)逼真的3D游戲場(chǎng)景，用戶還能在這個(gè)場(chǎng)景里進(jìn)行互動(dòng)。此外，Genie 2還支持3D空間中的重力、光線、反射、煙霧等物理模擬以及特殊效果模擬和生成。

從靜態(tài)3D模型生成到可交互的動(dòng)態(tài)3D內(nèi)容生成，3D生成的發(fā)展路徑終究還是指向了UGC內(nèi)容平臺(tái)，也就是說未來必然是每個(gè)人都可以零門檻、零成本實(shí)時(shí)創(chuàng)作3D體驗(yàn)。眾所周知，3D內(nèi)容創(chuàng)作一直都需要專業(yè)的人員與技術(shù)完成，是唯一一個(gè)沒有UGC內(nèi)容平臺(tái)的信息載體，但3D內(nèi)容必然會(huì)迎來爆發(fā)的那一天，而這一步也終離不開UGC內(nèi)容平臺(tái)。從World Labs與Genie 2中不難看出，無論是李飛飛的工作團(tuán)隊(duì)還是谷歌的大模型，科技巨頭都在推動(dòng)這一步的到來。?從AI中找商機(jī)，XR內(nèi)容創(chuàng)作也該迎來春天了?2024年，XR內(nèi)容創(chuàng)作大體依然很苦。據(jù)VR陀螺了解，目前能賺錢的XR內(nèi)容團(tuán)隊(duì)大致分為三種：一是，專門負(fù)責(zé)海外市場(chǎng)，有一定的專業(yè)度，同時(shí)海外相比國(guó)內(nèi)市場(chǎng)也較為理想；二是，做線下內(nèi)容，類似于體驗(yàn)店/大空間，尤其今年VR大空間爆發(fā)，不少內(nèi)容團(tuán)隊(duì)開始分力專做這一塊；三是，負(fù)責(zé)一些小的項(xiàng)目，或者專門為一些大廠提供內(nèi)容搭建輔助。但隨著AI 3D創(chuàng)作的到來，一些特別的情況已經(jīng)出現(xiàn)。不少創(chuàng)作者開始從AI中找商機(jī)，例如10月份UGC內(nèi)容平臺(tái)Roblox玩家RG使用Tripo生成的一頂3D粉色貝雷帽，在1小時(shí)內(nèi)吸引了超3000名玩家涌入Tripo。RG也靠售賣游戲配飾賺到了超過1億Robux（Roblox內(nèi)的代幣，折合約35萬(wàn)美元，近250萬(wàn)元人民幣）。

與此同時(shí)，在TikTok、Roblox等內(nèi)容平臺(tái)上，也已經(jīng)有創(chuàng)作者通過AI 3D內(nèi)容賺到了第一桶金。更為重要的是，很多創(chuàng)作者在社交媒體平臺(tái)上發(fā)布的3D模型視頻，完全能夠?qū)氲接螒虻漠嬅嬷惺褂谩I技術(shù)的成熟為創(chuàng)作者提供了全新的商業(yè)思路，除了公開平臺(tái)上AI 3D創(chuàng)作的盈利模式之外，電商領(lǐng)域?qū)?D內(nèi)容的需求也在增強(qiáng)。例如，亞馬遜推出的Virtual Try-On的3D功能，支持商家上傳自己物品的3D模型，以提高商品的吸引力。而像Vision Pro上淘寶、京東等網(wǎng)購(gòu)平臺(tái)，雖然體驗(yàn)讓人驚艷，但3D內(nèi)容還是太少。為了能夠豐富3D內(nèi)容生態(tài)，11月份淘寶還推出了全球首場(chǎng)3D空間交互直播。

不難看出，業(yè)內(nèi)已經(jīng)意識(shí)到隨著空間計(jì)算的逐步發(fā)展，行業(yè)對(duì)3D資產(chǎn)的需求已經(jīng)變得越來越高。亞馬遜官方也表示，“超過9成的消費(fèi)者認(rèn)為3D商品會(huì)影響自己的購(gòu)物決策，因此電商領(lǐng)域?qū)?D生成內(nèi)容的應(yīng)用，將會(huì)成為一個(gè)可行的商業(yè)化方向”。面向一個(gè)既定的未來，3D內(nèi)容創(chuàng)作存在著無限的想象空間。不僅新型企業(yè)可以從中分得一杯羹，一些小的XR內(nèi)容團(tuán)隊(duì)甚至個(gè)人創(chuàng)作者也終迎來另一風(fēng)起。進(jìn)一步看，在AI技術(shù)的發(fā)展下，3D創(chuàng)作的市場(chǎng)也正在被緩緩打開。Meta在宣布與卡梅隆合作打造「世界級(jí)3D娛樂體驗(yàn)」后也表示，“使用虛擬和混合現(xiàn)實(shí)頭顯的人數(shù)比以往任何時(shí)候都多，為沉浸式講故事開啟了令人興奮的新可能性。通過與Lightstorm Vision的合作，我們致力于推動(dòng)媒體發(fā)展，并通過使用包括AI在內(nèi)的先進(jìn)工具，提升內(nèi)容創(chuàng)作者制作高質(zhì)量立體內(nèi)容的能力?！盇I正在助力3D內(nèi)容產(chǎn)業(yè)的發(fā)展向更深的領(lǐng)域邁進(jìn)。對(duì)于內(nèi)容創(chuàng)作來說，將會(huì)迎來很大的機(jī)遇，在新行業(yè)與新技術(shù)之上騰飛。也正如馬云回歸后的首次演講所言，“20年前，互聯(lián)網(wǎng)剛剛到來的時(shí)候，我們這一代人很幸運(yùn)，抓住了互聯(lián)網(wǎng)時(shí)代的機(jī)遇。從今天來看，未來20年的AI時(shí)代能帶來的改變會(huì)超出所有人的想象，因?yàn)锳I會(huì)是一個(gè)更加偉大的時(shí)代。”?寫在最后?從技術(shù)發(fā)展路徑來看，AI已經(jīng)在3D內(nèi)容生成領(lǐng)域有了重大的進(jìn)步，并且已被業(yè)內(nèi)視為是占據(jù)絕對(duì)重要性的技術(shù)。隨著AI技術(shù)不斷發(fā)展，AI 3D的成熟也將會(huì)助推應(yīng)用層面不斷出現(xiàn)新的現(xiàn)象，而AR/MR的普及也將會(huì)帶動(dòng)3D內(nèi)容不斷豐富。乘著技術(shù)的風(fēng)，加碼布局的頭部企業(yè)動(dòng)作也越來越頻繁，除了卡梅隆與Meta的合作之外；迪士尼也組建了全新的技術(shù)辦公室，以探索AI與混合現(xiàn)實(shí)的應(yīng)用；佳能發(fā)布了新款鏡頭，專為3D VR視頻拍攝設(shè)計(jì)，可用于Meta Quest 3等頭戴設(shè)備以及Vision Pro空間視頻的拍攝；前段時(shí)間影像技術(shù)公司Blackmagic Design還推出了專為拍攝沉浸式視頻而設(shè)計(jì)的商業(yè)攝像機(jī)URSA Cine Immersive。毫無疑問，3D內(nèi)容生態(tài)已是明確的趨勢(shì)，一些頭部企業(yè)的布局也都指向了這點(diǎn)。隨著行業(yè)發(fā)展逐步滲透，也映射了未來內(nèi)容生態(tài)的變革和新方向。?