最近，多模態(tài) AI 成為了大模型圈的關(guān)鍵詞之一，在最近一些產(chǎn)品如 Pika 1.0、谷歌 Gemini 的表現(xiàn)中可以看到，多模態(tài) AI 正在為 AI 應(yīng)用帶來更多可能性。怎么理解多模態(tài) AI 給我們帶來的想象力？產(chǎn)品如Pika 1.0 的表現(xiàn)又如何？一起來看看本文的解讀。

多模態(tài) AI 正處于爆發(fā)前夜。

從 GPT-4V 的“驚艷亮相”，到 AI 視頻生成工具 Pika 1.0 的“火爆出圈”，再到谷歌 Gemini 的“全面領(lǐng)先”，多模態(tài) AI 都是其中的關(guān)鍵詞。

盡管 Pika 1.0 的宣傳視頻被一些用戶認(rèn)為是“炒作”，亦或谷歌承認(rèn) Gemini 的演示視頻“經(jīng)過剪輯”，但不能否認(rèn)，它們豐富了人們對多模態(tài) AI 的想象力。

“之前很多公司都在卷文本大模型，GPT-4V 的出現(xiàn)代表多模態(tài)大模型可落地，毫無疑問明年大家都會卷多模態(tài)AI，原因很簡單，因為 OpenAI 說明這條路是能夠走得通?！蔽⒉┬录夹g(shù)研發(fā)負(fù)責(zé)人、AI 首席科學(xué)家張俊林說。

在行業(yè)主語為“落地”的當(dāng)下，多模態(tài) AI 正走向場景化、實用化、商業(yè)化。例如，在醫(yī)療領(lǐng)域可以通過結(jié)合圖像、錄音和病歷文本，提供更準(zhǔn)確的診斷和治療方案；在交通領(lǐng)域，結(jié)合圖像和傳感器數(shù)據(jù)，帶來更智能、更安全的自動駕駛體驗；在教育領(lǐng)域，將文本、聲音、視頻相結(jié)合，呈現(xiàn)更具互動性的教育內(nèi)容。

但是業(yè)界一直在提多模態(tài)的概念，遠(yuǎn)沒有近期幾個現(xiàn)象級產(chǎn)品的演示那么直觀：多模態(tài)不僅可以為 AI 應(yīng)用帶來更多可能性，還是實現(xiàn)通用人工智能的重要路徑。

一、Pika：實力還是炒作？

最近的 AI 圈的飯局上，大家聊到多模態(tài) AI ，往往都會提到一家硅谷的初創(chuàng)公司—— Pika Labs。

公司初創(chuàng)團(tuán)隊只有 4 個人，創(chuàng)始人兼 CEO 郭文景有“女學(xué)霸”“斯坦福退學(xué)創(chuàng)業(yè)”“上市公司創(chuàng)始人女兒”等個人標(biāo)簽； Pika 三輪融資已籌款 5500 萬美元，估值在 2-3 億美元之間；投資者包括 Quora 創(chuàng)始人兼CEO Adam D’angelo 、 OpenAI 科學(xué)家 Andrej Karpathy、Hugging Face 聯(lián)合創(chuàng)始人兼CEO Clem Delangue、YC 合伙人 Daniel Gross 等人。

這些都加起來，可以說 Pika 的爆火是在發(fā)展過程中，講了一個技術(shù)、商業(yè)、資本、用戶都感興趣的故事，而且趕上了一個好的時機。

“今年6月份之后，AI生成圖片的投資變得比較保守，很多投資人會更關(guān)注 AI 生成視頻。”從事 AI 生成視頻研究的浦林（化名）告訴「甲子光年」，自有 AIGC 概念開始，無論是 AI 生成圖片還是 AI 生成視頻都很熱，但是基于技術(shù)的發(fā)展程度，業(yè)內(nèi)預(yù)計今年年底，AI 生成視頻會有一個不錯的 demo 出現(xiàn)。“這個 demo 足夠吸引很多的流量，甚至出圈，有這樣的信心，那投資的邏輯就能走下去了?？梢哉f， Pika 占到一個很好的時間點。”

Pika 1.0 推出的當(dāng)天，科技圈大佬們紛紛為其站臺。

自然語言處理領(lǐng)域著名學(xué)者 Christopher Manning 稱贊 Pika 的兩位創(chuàng)始人郭文景和孟晨琳推動了高質(zhì)量視頻的快速發(fā)展；OpenAI 科學(xué)家 Andrej Karpathy 在社交平臺上轉(zhuǎn)發(fā)了 Pika 1.0 的演示內(nèi)容并表示：“每個人都能成為多模態(tài)夢想的導(dǎo)演，就像《盜夢空間》中的建筑師一樣?！?/p>

Pika 1.0 火爆出圈，離不開一段官方宣傳視頻。視頻中，用戶只要輸入“馬斯克穿著太空服，3D 動畫”，就生成了一段視頻。

Pika 1.0 官方宣傳視頻中其它演示也可以用“驚艷”來形容，視頻發(fā)布后，已經(jīng)有媒體迫不及待地稱“AI 生成視頻的 ChatGPT 時刻即將達(dá)來”。

但是，Pika 真的如宣傳視頻上所展現(xiàn)的那么“驚艷”嗎？

今年 7 月，Pika Labs 就在 Discord 推出服務(wù)器，短短幾個月時間內(nèi)收獲了 50 萬用戶。不過，想使用最新的 Pika 1.0 ，在官網(wǎng)可能還需一段時間的排隊。但在 Discord 上，許多用戶已經(jīng)曬出了測試視頻。

目前，Pika 1.0 還只能生成 3 秒展示視頻。在社群中，用戶 A 輸入提示詞： A dragon fly in sky（一條龍在天上飛）。這個表達(dá)是比較清晰明確的，但輸出的視頻結(jié)果卻和龍毫不相關(guān)，更像一個克蘇魯生物。

而用戶 B 輸入了更為細(xì)致的提示詞：female priest – dnd character – in battle pose – character select default animation – camera zoom in – motion 1（女性牧師 – 龍與地下城角色 – 戰(zhàn)斗姿勢 – 角色選擇默認(rèn)動畫 – 攝像頭放大 – 動作1）。

這次 Pika 1.0 輸出的視頻結(jié)果大體相符要求，但細(xì)節(jié)依然有明顯缺陷，角色的手部構(gòu)圖“慘不忍睹”。不過，“AI 不會數(shù)數(shù)”是存在已久的問題，并非 Pika 獨有的“瑕疵”。

但也不乏效果驚艷的案例，比如用戶 C 提供了圖片并輸入提示詞：stranded medieval ship, violent sea, rain, clifs, slow motion, -motion 2 -gs22 -camera pan right Image: 1 Attachment（擱淺的中世紀(jì)船只、洶涌的海浪、雨水、懸崖、慢動作、動作2 、gs22 -攝像機向右平移、圖像：附件1），生成的視頻效果較為精美。

AI 教育者 Chase Lean 在試用了 Pika 1.0 后難掩激動之情，他在社交媒體上直言這是他“使用過的最好的 AI 視頻生成器”。

浦林一直在關(guān)注Pika及相關(guān)產(chǎn)品，從demo和實際使用感受來說，Pika 1.0 已經(jīng)屬于“行業(yè)領(lǐng)先水平”。

對于AI生成視頻工具，最為簡單的評判標(biāo)準(zhǔn)就是“生成的內(nèi)容是否真實”。在技術(shù)上，Pika 在單幀畫面擬真程度、美學(xué)質(zhì)量以及視頻的動作感上表現(xiàn)出色，在文生視頻、圖生視頻的能力和運鏡上也有不錯的能力展示。除算法外，社區(qū)活躍度也被認(rèn)為是初創(chuàng)公司核心競爭力的一部分，包括維護(hù) Discord 社區(qū)等。目前，Pika 的社區(qū)活躍度位列業(yè)內(nèi)前茅。

在圖像和視頻生成方面，業(yè)內(nèi)主流技術(shù)路線為Diffusion Model（擴散模型）。不過Pika聯(lián)合創(chuàng)始人孟晨琳在接受采訪時透露：“Pika 也不能完全算 Diffusion Model，我們開發(fā)了很多新東西，是一種新的模型?！?/p>

不過在浦林看來，Pika 與其它AI生成視頻工具（如 Runway ）“在技術(shù)上沒有本質(zhì)差別”，一些自媒體對 Pika 和 Runway 的對比分析“純粹是經(jīng)驗歸納”。

這也就會帶來一個問題，長期關(guān)注AI領(lǐng)域的投資人辰逸（化名）向「甲子光年」表達(dá)了他的擔(dān)憂：“Diffusion Model 不是智能的。它主要根據(jù)過去圖像的經(jīng)驗擬合出符合人類審美的圖像，并不具備理解語言和智能思考的能力。而當(dāng)我們在使用 ChatGPT 時，會有在和真人對話的感覺，雖然這個「人」的智商可能忽高忽低。”

辰逸認(rèn)為，盡管Pika爆火離不開產(chǎn)品實力，但“炒作”成分更多些。

“就像炒土豆絲，每個人使用的廚具、調(diào)味料等可能大不相同，但原材料歸根結(jié)底都是土豆?！背揭荼扔鞯溃?strong>理解語言的根本問題并沒有解決，圖像學(xué)還缺少一個飛躍的時刻。”

而在回答“AI 視頻生成什么時候會迎來 GPT 時刻”的問題時，Pika團(tuán)隊還是比較清醒的，孟晨琳認(rèn)為，目前視頻生成處于類似 GPT-2 的時期，“很可能在未來一年內(nèi)有一個顯著的提升”。

Pika 的能力在某種程度上被高估了，但 Pika 帶來的破圈效果是從業(yè)者樂于見到的。浦林五年前就進(jìn)入了 AI 生成視頻領(lǐng)域，最近這半年是他覺得這個領(lǐng)域“最火”的一段時間，盡管他也覺得 Pika “在宣傳上比較用力”，但是從專業(yè)角度分析，他相信 4 個人的團(tuán)隊做出 Pika 是“沒問題的”。

二、爭奪AI視頻生成高地

從技術(shù)視角來看，有業(yè)內(nèi)學(xué)者認(rèn)為，相對于文本、代碼和圖片生成，文生視頻（Text-to-Video）是 AIGC 的“高地”，因為這個領(lǐng)域存在著算力需求大、高質(zhì)量數(shù)據(jù)集短缺、可控性較差等挑戰(zhàn)。

浦林認(rèn)為，AI視頻生成領(lǐng)域還有一個難題，即生產(chǎn)和研究之間存在的差距。

研究者往往難在第一時間將研究成果應(yīng)用于實際，因為不同的視頻制作者，比如電影、動畫、短劇的制作者，有著不同的制作流程，而研究中可能只涉及一種特定的生產(chǎn)方式，比如文本到視頻。

浦林近期也在產(chǎn)業(yè)中調(diào)研，通過和電影制片方的交流不斷優(yōu)化自己的研究方向。“解決難題的關(guān)鍵在于開發(fā)的工具能否真正滿足視頻制作者的需求，并與其實際工作流程相契合。”浦林告訴「甲子光年」，“當(dāng)你的研究越靠近生產(chǎn)的時候，它會產(chǎn)生更大的經(jīng)濟價值?！?/strong>