文章鏈接：https://arxiv.org/pdf/2506.18899 
項目鏈接：https://filmaster-ai.github.io/

FilMaster 生成的視頻樣本

亮點直擊

• 一種融合電影原則的新型系統: 提出FilMaster，首個基于AI的綜合性電影生成系統，明確圍繞電影原則設計，以指導鏡頭語言和電影節奏。它填補了從劇本到成片的鴻溝。
• 從真實電影中學習攝影技術: 提出一種新穎的多鏡頭協同RAG鏡頭語言設計模塊，從大量真實電影中學習攝影模式，生成連貫且富有表現力的視覺效果，實現多鏡頭協同輸出。
• AI驅動的后期制作實現電影節奏: 提出創新的以觀眾為中心的電影節奏控制模塊，模擬專業后期制作流程。
• 全面的電影評估基準: 建立了新基準FilmEval，用于全面評估AI生成的電影，FilMaster在創作高質量、引人入勝的電影內容方面的性能卓越。

總結速覽

解決的問題

• 現有AI電影生成系統的不足

• 缺乏對核心電影原則（如鏡頭語言、電影節奏）的理解與實現，導致生成內容模板化、敘事乏味。
• 鏡頭語言不專業：現有系統依賴LLM的想象生成鏡頭，缺乏真實電影數據的參考，導致視覺表達缺乏連貫性和表現力。
• 電影節奏控制薄弱：視頻剪輯簡單拼接，音畫不同步，缺乏專業后期工作流的模擬，難以營造情感沖擊。
• 輸出不可編輯：生成結果多為非結構化視頻文件，難以融入專業影視制作流程。

• 評估標準的缺失
• 現有基準（如視覺生成評測）無法全面評估電影的多維度質量（如敘事、節奏、觀眾體驗等）。

提出的方案

• 參考引導的生成階段（Reference-Guided Generation Stage）

• 從44萬真實電影片段庫中檢索與場景文本上下文匹配的參考片段，提取專業鏡頭語言描述（如景別、運鏡、角度）。
• 利用LLM結合檢索結果重新規劃鏡頭，確保多鏡頭間的時空連貫性和敘事一致性。

• 多鏡頭協同RAG鏡頭語言設計模塊：
• 生成式后期制作階段（Generative Post-Production Stage）
• 粗剪（Rough Cut）：構建基礎敘事結構。
• 細剪（Fine Cut）：通過MLLM模擬目標觀眾反饋（如特定人口統計特征），指導剪輯調整節奏、音畫同步。
• 聲音設計：集成多層次音頻（環境音、配樂、音效等），實現音畫協同。
• 觀眾中心的電影節奏控制模塊：
• 可編輯輸出
• 生成符合行業標準的結構化輸出（如OpenTimelineIO格式），支持導入專業軟件（如DaVinci Resolve）進一步編輯。
• 評測基準FilmEval
• 覆蓋敘事、視聽技術、美學、節奏、觀眾 engagement等維度的綜合評估體系。

應用的技術

• 多模態大模型（(M)LLMs）: 用于腳本解析、鏡頭規劃、觀眾反饋模擬、后期剪輯決策。
• 檢索增強生成（RAG）: 從大規模電影片段庫中檢索專業鏡頭語言參考。
• 視頻生成模型: 根據規劃生成初始視頻片段。
• 音頻生成與同步技術: 多軌道音效設計與時間軸對齊。

達到的效果

• 專業級鏡頭語言: 生成具有表現力且連貫的鏡頭（如動態運鏡、合理景別切換），顯著優于模板化輸出（如MovieAgent）。
• 沉浸式電影節奏: 通過觀眾反饋驅動的剪輯和音畫同步，提升敘事張力和情感沖擊力。
• 工業級實用性: 可編輯的標準化輸出（OTIO格式），直接對接專業影視流程。
• 評測優勢: 在FilmEval基準中，FilMaster在鏡頭語言設計和節奏控制維度表現顯著優于基線模型。

FilMaster 與當前 AI 驅動的工作流程和電影生成系統的比較

方法

本屆介紹系統概述，再詳細說明兩個核心創新模塊：多鏡頭協同RAG鏡頭語言設計模塊和以觀眾為中心的電影節奏控制模塊。

FilMaster概述

FilMaster是一個自動化電影生成系統，旨在根據輸入文本（輔以角色和場景的參考圖像）生成完整電影，并輸出可編輯、結構化的多軌道時間軸文件（采用行業標準OTIO格式）。如下圖3所示，整體流程可分為兩個階段：

參考引導的生成階段

該階段以輸入文本和角色/場景參考圖像為輸入，利用(M)LLMs進行視頻內容規劃和腳本結構化，隨后通過視頻生成模型生成視頻片段。具體步驟包括：

• 從粗到細逐步將初始文本細化為包含時空上下文的詳細場景描述；
• 協同規劃同一場景內各鏡頭的鏡頭語言；
• 基于設計的視覺語言和參考圖像生成視頻片段。多鏡頭協同RAG鏡頭語言設計模塊在構建連貫且富有表現力的視覺語言中起關鍵作用。

生成式后期制作階段

基于上一階段生成的視頻，該階段將原始素材轉化為精修成品，協調視聽元素以實現電影節奏。包括：

• 組裝粗剪版本；根據模擬的觀眾反饋優化為細剪版本，調整視頻結構和時長；
• 設計多層次音效。

?

以觀眾為中心的電影節奏控制模塊負責控制敘事結構、節奏，確保視聽元素的有效整合，從而提升情感共鳴和觀眾參與度。

最終視頻和音頻將打包為支持多軌道的OTIO格式，確保與專業剪輯軟件兼容，便于融入實際電影制作流程。

多鏡頭協同RAG鏡頭語言設計

受專業電影人通過研究大量電影參考學習鏡頭語言的啟發，FilMaster引入多鏡頭協同RAG鏡頭語言設計模塊，基于海量真實電影片段數據集進行鏡頭語言學習。該模塊通過以下步驟突破模板化鏡頭的限制：

• 時空感知索引嵌入場景上下文；
• 電影參考檢索；
• 鏡頭重規劃。

時空感知索引
FilMaster 

首先將輸入文本處理為場景塊（scene block）。場景塊定義為敘事中在單一連貫場景內發生的連續片段，保持該場景的時空連續性。每個場景塊包含以下時空上下文：多鏡頭提示元素、場景地點、時間、在場角色、關鍵視覺元素，以及該場景的敘事目標（示例見上圖3右上）。同一場景塊內的所有鏡頭共享角色和場景的參考圖像以保持連續性。通過LLM鏈式調用，系統從梗概逐步細化到簡單分鏡、詳細分鏡，最終生成場景塊。精心設計的場景塊及其時空上下文與敘事目標，確保了鏡頭語言的高度連貫性和表現力。接著，場景塊通過嵌入模型編碼為向量并存入向量數據庫。這些富含時空上下文和敘事目標的場景塊將作為后續檢索與生成過程的精準查詢依據。我們的真實電影數據集包含44萬條帶專業標注的電影片段，其文本標注詳細描述了鏡頭語言的關鍵要素（如景別、運鏡、角度、氛圍特征），這些描述同樣通過相同嵌入模型編碼為向量。

電影參考檢索

經時空感知索引定義的場景塊（含時空上下文和敘事目標）作為檢索查詢。其向量表示（查詢向量）與電影數據集向量進行相似度計算后，優先檢索出Top-K最相似的電影參考。檢索到的電影片段文本描述將用于指導下一階段的LLM鏡頭重規劃。

鏡頭重規劃

基于檢索結果，FilMaster分析重復出現的電影模式，提取適用于當前敘事場景的專業鏡頭技巧，重點識別能增強視覺沖擊力和敘事目標的視覺敘事方法。原始場景塊查詢與檢索到的電影參考被合成連貫的LLM提示詞，由LLM重新規劃多鏡頭提示以確保鏡頭語言的一致性。該過程可通過LLM多輪對話迭代優化。這種基于敘事目標和真實電影參考的多鏡頭協同設計，確保了場景塊內多鏡頭的連續性與連貫性（與以往孤立處理鏡頭的方法形成關鍵差異）。鏡頭重規劃會為每個鏡頭指定合適的景別、運鏡、角度和氛圍描述，同時保留原始敘事內容和目標，最終生成的鏡頭語言既具表現力，又在多鏡頭場景層面保持連貫。

觀眾中心的電影節奏控制

盡管多鏡頭協同RAG鏡頭語言設計模塊能生成視覺連貫的場景，但若僅依賴視覺輸出而缺乏合適的敘事驅動力和有效的視聽元素整合，仍會導致生成內容平淡乏味，難以引起觀眾共鳴，遠未達到專業標準。為此，提出觀眾中心的電影節奏控制模塊。該模塊借鑒專業電影后期工作流逐步優化節奏的方法，首先生成粗剪版本并從模擬觀眾視角進行評審，隨后進入細剪階段：通過視頻編輯協調視覺敘事結構與節奏，通過聲音設計整合多層次音效，最終實現情感共鳴與觀眾參與度的雙重提升。整個流程由MLLM驅動，通過賦予其后期專業角色（如觀眾、剪輯師、音效設計師）來完成。

觀眾中心評審

傳統AI方法常僅從導演視角出發，可能限制影片與真實觀眾的情感共鳴。為此，FilMaster引入觀眾中心評審機制，將導演敘事意圖與模擬觀眾期望相結合。系統首先允許指定目標觀眾類型（如"短劇觀眾"），MLLM利用網絡搜索工具構建該類型的人口統計特征、偏好及觀看期望（如偏好緊湊敘事或快節奏內容）。為便于評審，系統會組合多鏡頭協同RAG模塊生成的視頻序列與LLM生成的場景塊音頻文本描述（VO）作為臨時音效占位，組裝成粗剪版本。隨后，MLLM基于觀眾特征分析該版本，識別結構流暢性、敘事節奏、場景轉場及占位音頻一致性等方面的潛在問題。評審后，獨立LLM分析模塊將問題歸類為三個維度：結構組織、時間與時長、音頻連貫性，并生成可執行建議以指導后續細剪調整。

視頻編輯

基于觀眾分析與帶時間碼的視頻文本描述，系統通過LLM模擬專業剪輯師進行深度優化，主要采用兩種機制：

1. 結構重組：調整或刪除冗余鏡頭以增強場景邏輯性與敘事張力
2. 時長調整：通過三種操作控制單鏡頭時長以調節敘事節奏：

• 修剪（去除冗余畫面）
• 加速（適配節奏需求）
• 保留（維持原始時長）該過程逐步使視覺敘事與敘事目標及觀眾期望對齊，最終形成定剪版本（picture lock）進入音效設計階段。

聲音設計

針對現有AI系統音頻處理薄弱的問題（見下表1），本文提出多尺度音畫同步策略系統化整合五類音頻元素：

• 背景環境音
• 配樂
• 旁白（VO）
• 擬音（foley）
• 音效（SFX）

同步過程分三個時間尺度管理：

1. 場景級：LLM直接根據場景塊選擇配樂與環境音
2. 鏡頭級：LLM結合視頻文本與觀眾反饋設計旁白
3. 鏡頭內級：MLLM精確對齊擬音/音效與視覺事件

音頻素材通過語音合成（VO）或從精選音頻庫檢索增強生成（RAG，類似3.2節）獲取。最后采用自動化混音技術（附錄B）解決多音軌的響度、頻響平衡與動態范圍問題，通過LUFS標準化與頻率調整確保聲場協調、人聲清晰度與整體音質統一。

實驗

實驗設置

實現細節。本文使用GPT-4o進行劇本生成、檢索增強生成（RAG）、視頻編輯和音效設計（旁白、背景音樂、配樂）。對于以觀眾為中心的評審和音效設計（擬音和音效），采用Gemini-2.0-Flash。視頻生成模型使用Kling Elements，該模型能夠以多張參考圖像為條件生成視頻。生成的視頻片段分辨率為1920×1080，每段序列包含153幀。

評估指標。由于本研究首次提出了一種端到端的電影生成任務，并全面關注鏡頭語言和電影節奏，因此建立了FilmEval這一整體評估基準。FilmEval基于六個對電影質量評估至關重要的高級維度：敘事與劇本（NS）、視聽與技術（AT）、美學與表達（AE）、節奏與流暢性（RF）、情感與參與度（EE）以及整體體驗（OE）。這些維度進一步分解為十二項具體標準以進行詳細評估（標準詳見附錄C）：

• NS：劇本忠實度（SF）、敘事連貫性（NC）
• AT：視覺質量（VQ）、角色一致性（CC）、物理定律符合性（PLC）、語音/音頻質量（V/AQ）
• AE：電影技術（CT）、視聽豐富性（AVR）
• RF：敘事節奏（NP）、視頻-音頻協調性（VAC）
• EE：吸引程度（CD）
• OE：整體質量（OQ）

盡管本文的工作重點在于鏡頭語言和電影節奏的兩個關鍵模塊，但需要認識到電影質量源于各元素的整體協同作用。因此，評估維度不僅涵蓋每個模塊的直接輸出，還包括它們對最終影片的協同影響：

• 多鏡頭協同RAG鏡頭語言設計模塊的影響主要通過NS（SF、NC）評估，確保視覺敘事與劇本一致，并通過AT的關鍵視覺方面（VQ、CC、PLC）反映規劃視覺基礎的質量與連貫性。該模塊還為AE（CT）奠定基礎，通過設計具有內在電影質量的鏡頭，并貢獻于AE的視覺部分（AVR）。
• 以觀眾為中心的電影節奏控制模塊的有效性通過AT的音頻相關方面（V/AQ）、通過復雜編輯和音效設計實現的AE（CT、AVR）、RF的掌握（NP、VAC）以及最終的EE（CD）來衡量。該模塊將視覺和聽覺元素協調為連貫且有沖擊力的節奏體驗，由最終評判標準OE（OQ）評估。

為評估本文的方法，在FilmEval中同時采用自動評估指標和用戶研究。由于缺乏針對此任務的現有自動指標，提出以Gemini-1.5-Flash作為評估模型，用于在定義的維度上評估生成的影片。為確保可靠性，我們通過測量自動評估與人類判斷的相關性來驗證其有效性。

測試數據集。本文的評估采用包含20個測試案例的多樣化集合，涵蓋兩種不同的提示類型：10個案例來自MoviePrompts，這些案例具有廣泛而詳細的描述，平均100.4詞；另外10個為更簡潔的提示，平均15.2詞，由標注者專門設計以評估本文的方法在處理不同輸入復雜性時的靈活性。

對比模型。將本文的方法與之前的自動電影生成工作進行對比：動畫生成方法（Anim-Director）、電影生成方法（MovieAgent）以及一款商業產品（LTX-Studio）。由于LTX-Studio支持自動音效，應用相同的設置以確保公平比較。

定量結果

自動評估。結果如下表2所示，FilMaster平均提升58.06%：其中鏡頭語言提升43.00%，電影節奏提升77.53%。分析表明，現有方法如Anim-Director和MovieAgent在NS、AE、RF、EE和OE等多個維度表現顯著不足，尤其在音頻質量與音畫協調性方面存在嚴重缺陷。相比之下，本文的方法在FilmEval所有評估維度上均實現顯著改進，相較Anim-Director和MovieAgent平均性能分別提升75%和69%。與商用產品LTX-Studio相比，LTX-Studio在劇本忠實度、敘事連貫性、敘事節奏和音頻質量方面表現欠佳，這可能是由于鏡頭語言與視聽元素整合不足所致。本文的方法以平均19.84%的優勢超越LTX-Studio，證明了電影生成系統的有效性。

用戶研究。除定量分析外，我們通過用戶研究評估生成影片的質量。五位參與者被要求基于FilmEval標準對每段視頻獨立評分。從數據集中隨機選取5個案例，將FilMaster與其他三種方法對比，共收集1200份評分（每項標準100票）。下表3展示六大維度結果，詳細數據見下表6。結果表明，FilMaster在電影生成上優于現有方法，平均提升68.44%（鏡頭語言70.65%，電影節奏65.61%）。

人工相關性驗證。為驗證自動評估指標，我們采用Pearson's 、Kendall's τ和Spearman's ρ（下表4）測量其與人工評分的相關性，方法類似[13,28]。自動指標與用戶研究結果的平均相關性為0.6230，表明其與人類評估高度一致。

定性結果

示例。如下圖4所示，本文的方法基于輸入文本生成包含鏡頭語言的描述，并設計多軌音頻，通過鏡頭語言設計與節奏控制形成連貫的視聽敘事。更多示例見下圖6。

對比。下圖5顯示，在所有對比方法中，本文的結果具有角色一致性、流暢動作和連貫敘事結構。現有方法則在視覺質量、音頻設計和敘事連貫性上存在局限：

• 視覺方面：Anim-Director生成靜態動畫，缺乏自然動作過渡；MovieAgent難以保持角色一致性；LTX-Studio雖視覺質量良好，但無法維持跨幀角色身份一致性。
• 音頻與敘事方面：Anim-Director完全缺失音頻，嚴重限制敘事能力；MovieAgent僅實現基礎旁白，缺乏多樣化音頻設計；LTX-Studio依賴自動音頻設計且缺乏細粒度控制，導致音畫不同步，其敘事節奏也常顯拖沓重復。

消融實驗

在下表5中通過單案例測試，分別移除多鏡頭協同RAG鏡頭語言設計模塊和以觀眾為中心的電影節奏控制模塊進行消融實驗。定量結果表明：

• 移除電影節奏模塊導致FilmEval平均分顯著下降，印證了該模塊在相同生成內容下強化電影化表達的關鍵作用；
• 多鏡頭協同RAG鏡頭語言設計模塊的缺失會破壞生成內容的連貫性。

結論

本文提出首個面向專業級電影生成的AI全流程系統FilMaster，其創新性體現在：

1. 系統性整合電影原理：聚焦鏡頭語言設計與電影節奏控制，確保輸出符合工業標準且可編輯；
2. 多鏡頭協同RAG鏡頭語言設計模塊：基于44萬真實電影片段庫直接學習 cinematography，通過檢索增強生成（RAG）技術產出具有高電影化連貫性的情境感知鏡頭方案；
3. 以觀眾為中心的電影節奏控制模塊：模擬專業后期流程，包含粗剪組裝、經模擬觀眾反饋優化的精剪（含視頻編輯與音效設計），最終實現強敘事張力與深度情感共鳴；
4. FilmEval評估基準：首創覆蓋六大電影維度的AI生成影片評估體系。

實驗表明，FilMaster在用戶研究中平均提升68.44%，自動評估提升58.06%，顯著優于現有方法，在視覺語言表現力與節奏感染力方面實現突破性進展。

本文轉自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/mXXVADVyTpm-Up_oiRIUuw??