素材庫規(guī)模的大小直接影響這類視頻生成工具的效果和生成的視頻多樣性。龐大的素材庫需要大量版權(quán)資源或內(nèi)容平臺支持，從而構(gòu)建工具的“網(wǎng)絡(luò)效應(yīng)”，而較小的素材庫會限制工具的效果。

因而，這個方向的AI工具，內(nèi)容巨頭企業(yè)才更容易做得更好。

iv）搜索匹配的準(zhǔn)確度：

動畫/視頻分析AI對動畫/視頻內(nèi)容的理解有限，導(dǎo)致搜索匹配結(jié)果準(zhǔn)確度問題，與用戶設(shè)想的畫面可能存在一定差距。在生成多個動畫/視頻片段拼接而成的視頻時，準(zhǔn)確率問題會疊加，使成品動畫/視頻偏離原始設(shè)想。

這些問題導(dǎo)致素材搜索匹配相關(guān)的AI產(chǎn)品工具，在當(dāng)前并不是那么好用。

2）文/圖生視頻：

Sora屬于文/圖生視頻的AI方向。在Sora發(fā)布之前，市場上已有相關(guān)工具如Pika、RunwayGen2、Stable Video Diffusion，它們可以根據(jù)用戶輸入的文本或靜態(tài)圖片，生成幾秒鐘的視頻/動畫。

然而，目前市面上的文/圖生視頻AI工具存在明顯缺陷，例如：

i）未能理解物理世界：

正如Runway之前宣布要通用世界模型（General World Model），像Gen-2這樣的視頻生成AI，僅僅是生成了具有有一定運動的短視頻，但是在處理攝像機運動或物體運動等問題上存在局限。

比如這里，我用張倆男孩打架的圖片，生成的視頻中，男孩揮出去的手反而貫穿了自己的腦袋。

雖然Sora也具備了通用世界模型的基礎(chǔ)能力，但是也同樣存在“對物理世界理解不足”的問題，比如知名的“玻璃破碎”、“虛空椅子”。這些訓(xùn)練數(shù)據(jù)不足的情況，使得在多主體之間的運動無法被準(zhǔn)確表達。

ii）主體一致性問題：

在AI生成的動畫/視頻中，人物外貌、動作等可能隨著人物動作的變化而發(fā)生變化，導(dǎo)致主體一致性問題，影響視頻質(zhì)量。如下圖的案例中，原本是生成馬斯克的視頻，但是在視頻的最后幾秒，馬斯克變成了一個黃種女人。

視頻素材來源于知乎用戶sunny

iii）無法生成游戲行業(yè)垂直內(nèi)容：

像是角色動作、戰(zhàn)斗效果、場景光影、UI交互、游戲?qū)崨r視頻等內(nèi)容，AI工具的生成效果極差。因此對于游戲行業(yè)，大概率僅有視頻類動畫素材的生產(chǎn)過程才能用上這類AI工具。

3. 收集素材

制作視頻類動畫素材涉及收集素材的過程，其中需要結(jié)合分鏡稿，收集足夠的素材以供剪輯使用。這一過程與制作草稿的工具需求大致相同，可以借助“素材搜索匹配”和“文/圖生視頻工具”的AI能力來輔助。

4. 成稿

一旦素材齊全，下一步就是將所收集/制作的素材拼接成最終的成品稿。這個過程涉及到多種類型的AI動畫/視頻工具，種類繁多且多樣，較難一一概括，以下是我觀察到的一些類型，而且大多都只能用在視頻類型的素材剪輯上。

1）視頻拆條：

這類工具旨在快速將視頻按需求進行剪輯拆分和拼接。舉例來說，火山引擎提供了“視頻拆條”功能，利用AI畫面和語音識別自動將視頻進行拆分，同時支持對視頻進行進階設(shè)置。這種工具可用于對長視頻進行分割處理，以便進行短視頻合成。

又比如，“vidyo.ai”提供的視頻拆條能力，在基于語音識別的基礎(chǔ)上，還提供了針對不同內(nèi)容平臺的格式轉(zhuǎn)化能力。

2）配音：

語音配音在制作視頻類內(nèi)容時扮演著重要的角色。盡管在嚴(yán)格意義上，配音并不屬于AI視頻工具的范疇，但卻是制作視頻內(nèi)容不可或缺的一環(huán)。當(dāng)前的AI生成語音技術(shù)已經(jīng)相當(dāng)成熟，以剪映官方為例，他們提供了完善的配音音色功能，用戶可以通過輸入文本生成對應(yīng)的音頻內(nèi)容。

3）字幕：

視頻制作中不可或缺的一環(huán)是字幕。隨著技術(shù)的發(fā)展，字幕生成技術(shù)也日趨成熟，例如，剪映已經(jīng)具備了自動生成字幕的能力。

4）畫面編輯：

我覺得很多視頻工具都可以歸到這一類里面，比如視頻剪輯軟件里面都會配備的濾鏡能力，通過應(yīng)用特定的濾鏡效果，使視頻呈現(xiàn)出特定風(fēng)格和視覺效果。

同時，市面上也有能將夠穩(wěn)定將視頻轉(zhuǎn)換成其他風(fēng)格的工具，如Ebsynth。

Runway里面除了視頻生成能力，還提供了像是一鍵刪除背景、一鍵修復(fù)、一鍵模糊等效果編輯AI。

perfectly-clear提供的編輯能力可用于改善視頻的色彩、提高對比度、消除噪點、改善視頻的清晰度，以及消除視頻中的抖動和模糊。

騰訊云提供的AI換臉技術(shù)將真人視頻中的人臉替換成其他人臉。

5）數(shù)字人：

幾乎所有主要廠商都在積極探索并應(yīng)用這一技術(shù)。其核心在于利用AI生成個性化的數(shù)字人物，并結(jié)合專屬的AI音色，使得這些AI數(shù)字人可以替代用戶進行視頻解說。在直播帶貨等場景中，這種技術(shù)不僅可以提高效率，還能有效節(jié)省人力成本。

四、小結(jié)

結(jié)合我的調(diào)研，目前游戲行業(yè)相關(guān)的AI視頻/動畫工具可分為4大類：

1. 動畫/視頻分析：利用人工智能的分析和理解能力，提煉出美術(shù)設(shè)計所關(guān)注的核心信息，將大量信息壓縮成關(guān)鍵要點，從而提高尋找靈感的效率。
2. 素材搜索匹配：基于視頻分析的AI技術(shù)，通過對素材庫中的視頻進行分析、解構(gòu)和標(biāo)記，再根據(jù)用戶提供的關(guān)鍵詞匹配最適合的動畫/視頻內(nèi)容，提高視頻類動畫資源制作的效率。
3. 動畫/視頻生成：基于生成式AI技術(shù)，能夠通過文本和圖像內(nèi)容生成動畫視頻內(nèi)容。
4. 剪輯工具類：輔助動畫資源的制作，提高制作效率。

目前的AI視頻/動畫工具更多偏向于視頻類動畫素材的生產(chǎn)，更適用于與營銷相關(guān)的業(yè)務(wù)生產(chǎn)，因為這方面對于大型模型的定制化要求較低。然而，對于與動效相關(guān)的動畫生產(chǎn)，可能需要游戲行業(yè)垂直領(lǐng)域大型模型能力的進一步發(fā)展。

我將收集到的AI視頻/動畫工具給到美術(shù)設(shè)計，他們的回答是：“好像什么都能做，但是又好像做不好的感覺?？偛荒転榱诉@碗醋（使用AI），才包的這頓餃子吧（做動畫/視頻）。”剖析其中的原因，主要是：

• 素材搜索匹配、視頻生成類當(dāng)前AI工具對于游戲行業(yè)垂直程度不夠高，無法生成足夠高準(zhǔn)度的內(nèi)容。而且動畫素材有別于圖片素材，AI圖片生成內(nèi)容的準(zhǔn)確度不高時候，美術(shù)還可以上手修改，但是當(dāng)AI視頻生成的準(zhǔn)確度不高的時候，逐幀修改成本過高，不具有可行性。
• 工具分散，未能較好貼合生產(chǎn)流程。大部分的AI工具分布在不同的平臺上，“收集靈感”——“制作草稿”——“收集素材”——“剪輯成稿”的過程需要跳轉(zhuǎn)的平臺過多，同時各類工具的更新和版本調(diào)整也需要人力去跟進和維護，再加上大部分工具使用場景很小，單獨購買性價比不高。整體需要耗費過多的精力和成本，這有礙于AI工具對于制作的提效。
• 由于工具使用都是分散在各類工具平臺上，AI工具的使用不能進行AI資產(chǎn)的積累，無法形成工具使用的“邊際成本遞減”。（比如文/圖生圖的AI使用，可以通過低模型訓(xùn)練、參數(shù)調(diào)試的方式，快速將AI工具變成業(yè)務(wù)的形狀，提高生產(chǎn)效率）
• 目前收集到的大部分AI視頻/動畫工具，普遍都是需要收費的。要么按請求量收費，要么是會員制，動則每個月上百塊。結(jié)合前文提到的AI準(zhǔn)確度不高和工具分散問題，業(yè)務(wù)可能需要在多個平臺多次“抽卡”（調(diào)侃準(zhǔn)確度不高，就好像游戲抽卡那樣，需要N次才能出來想要的結(jié)果），這個過程大大加大了成本的消耗，使得AI的使用成本甚至可能高于人肉。

隨著越來越多AI公司的入局，以上提到的問題一定會被解決，正如萬物摩爾定律所描述，成本問題也會越來越低。Sora的出現(xiàn)，無疑是對這個過程的加速。

但是我也想談?wù)勎覍ξ磥碚雇囊恍┯^點，我覺得未來的AI動畫/視頻工具一定是背靠視頻剪輯/動畫制作工具的，并集成大多數(shù)的AI工具（All in one），因為：

1.工具集成&貼合工作流帶來的用戶體驗優(yōu)勢：

視頻剪輯/動畫制作工具本身就是貼合用戶工作流程的產(chǎn)品形態(tài)。當(dāng)AI工具集成在一起時，用戶可以直接利用AI能力進行生產(chǎn)，無需研究各種AI工具，減少額外精力消耗。同時，基于用戶使用習(xí)慣，產(chǎn)品可以提供AI數(shù)據(jù)資產(chǎn)積累能力，定制化模型，更貼合用戶使用習(xí)慣，構(gòu)成用戶的沉沒成本。

2.用戶增長優(yōu)勢：

現(xiàn)有視頻剪輯/動畫制作工具已有一批忠實用戶群體，發(fā)展AI能力時無需從零開始用戶增長。在成熟工具上構(gòu)建AI能力，加固了產(chǎn)品壁壘。

3.更容易構(gòu)建數(shù)據(jù)飛輪，構(gòu)建數(shù)據(jù)壁壘：

借助平臺原有的用戶積累，能夠利用龐大的素材積累、數(shù)據(jù)積累訓(xùn)練優(yōu)秀的大模型，打造優(yōu)質(zhì)的視頻產(chǎn)品功能，從而吸引更多用戶，構(gòu)建數(shù)據(jù)飛輪，構(gòu)建自身的壁壘。

4.工具更具有可控性問題的解決方案：

AI動畫/視頻生成工具是具有本質(zhì)上的矛盾的，文本是低維信息，卻需要準(zhǔn)確表達動畫/視頻這種高維信息，這個過程必定伴隨信息的失真。文生視頻必定是不能100%傳達制作者的想法的。這個過程就需要編輯工具的存在，通過人工編輯的接入，將內(nèi)容準(zhǔn)確表達。而且，通過編輯工具，我們也能通過人力彌補AI的準(zhǔn)確度問題，使得在AI能力能準(zhǔn)確生成我們需要的內(nèi)容之前，我們也能利用AI進行效率的提升。

因此背靠視頻剪輯/動畫制作工具，更容易進行編輯工具構(gòu)建，從而解決可控性問題。