來(lái)看一個(gè)PPT生成思路：PPTAgent。傳統(tǒng)的PPT生成方法通常使用端到端的文本生成范式，這種方法僅關(guān)注文本內(nèi)容，忽略了布局設(shè)計(jì)和PPT結(jié)構(gòu)。PPTAgent 采用了一種基于編輯的生成范式，解決處理空間關(guān)系和設(shè)計(jì)風(fēng)格方面的挑戰(zhàn)。

傳統(tǒng)方法的每個(gè)幻燈片S可以用以下公式表示：

其中， n表示幻燈片上的元素?cái)?shù)量，C表示由章節(jié)和圖形組成的源內(nèi)容。每個(gè)元素 e_i 由其類型、內(nèi)容和樣式屬性（如邊框、大小、位置等）定義。

與傳統(tǒng)的生成方法相比，PPTAgent 采用了一種基于編輯的生成范式，該方法生成一系列修改現(xiàn)有幻燈片的動(dòng)作。過程可以用以下公式表示：

其中，m表示生成的動(dòng)作數(shù)量，每個(gè)動(dòng)作 a_i 表示一行可執(zhí)行的代碼，R_j 是正在編輯的參考幻燈片。

方法

PPTAgent框架

在本文中，PPTAgent 是一個(gè)用于自動(dòng)生成PPT的框架。采用基于編輯的工作流程，分為兩個(gè)階段：PPT分析和PPT生成。

階段 I: PPT分析

主要目標(biāo)是通過幻燈片聚類和內(nèi)容schema提取，為PPT生成提供結(jié)構(gòu)化和語(yǔ)義化的參考信息。這一階段的結(jié)果將直接影響后續(xù)階段的生成質(zhì)量和效率。

1.幻燈片聚類
幻燈片聚類（層次聚類）是將參考PPT中的幻燈片按照其功能和內(nèi)容進(jìn)行分組的過程。幻燈片可以分為兩大類：
聚類算法：

聚類示例

• 結(jié)構(gòu)性幻燈片：這些幻燈片主要用于支持演示文稿的結(jié)構(gòu)，例如開場(chǎng)幻燈片、過渡幻燈片和結(jié)束幻燈片。對(duì)于此類幻燈片，PPTAgent利用LLM推斷每個(gè)幻燈片的功能角色，并根據(jù)這些角色進(jìn)行分組。這些幻燈片通常具有明顯的文本特征。
• 內(nèi)容性幻燈片：這些幻燈片主要用于傳達(dá)具體的信息，例如包含項(xiàng)目符號(hào)、圖表和圖像的幻燈片。對(duì)于此類幻燈片，PPTAgent采用基于圖像相似性的層次聚類方法。通過計(jì)算幻燈片之間的圖像相似度，將相似的幻燈片歸為一組。

2. 內(nèi)容Schema提取
完成幻燈片聚類后，PPTAgent進(jìn)一步分析每個(gè)聚類的內(nèi)容Schema，以確保編輯的目標(biāo)一致性。由于現(xiàn)實(shí)世界中的幻燈片可能非常復(fù)雜且碎 片化，PPTAgent利用LLM的上下文感知能力提取多樣化的內(nèi)容Schema。PPTAgent定義了一個(gè)內(nèi)容Schema提取框架，其中每個(gè)元素由其類別、模態(tài)和內(nèi)容表示。基于這個(gè)框架，PPTAgent通過LLM的指令遵循（原文給出了相關(guān)prompts）和結(jié)構(gòu)化輸出能力，從每個(gè)幻燈片中提取內(nèi)容Schema。提取過程如下：

• 類別：描述元素的類型，例如文本框、圖像等。
• 模態(tài)：描述元素的呈現(xiàn)方式，例如純文本、帶圖形的文本等。
• 內(nèi)容：描述元素的具體內(nèi)容，例如文本內(nèi)容或圖像的替代文本。

階段 II：PPT生成

第二階段是基于第一階段的分析結(jié)果，生成新的PPT。這一階段的核心是通過交互式的編輯過程，利用參考幻燈片和輸入文檔生成目標(biāo)PPT。步驟包括：生成一個(gè)結(jié)構(gòu)化的大綱，指定每個(gè)幻燈片的參考幻燈片和相關(guān)內(nèi)容；使用LLMs迭代編輯參考幻燈片以生成新幻燈片；實(shí)現(xiàn)五個(gè)專門的API，允許LLMs編輯、刪除和復(fù)制文本元素，以及編輯和移除視覺元素。

大綱生成：大綱生成是根據(jù)人類偏好，指導(dǎo)LLM創(chuàng)建一個(gè)結(jié)構(gòu)化的大綱。每個(gè)條目指定參考幻燈片、相關(guān)文檔部分索引以及新幻燈片的標(biāo)題和描述。通過利用LLM的規(guī)劃和總結(jié)能力，結(jié)合從參考PPT中提取的語(yǔ)義信息，生成一個(gè)連貫且吸引人的大綱，從而指導(dǎo)新PPT的生成過程。

幻燈片生成：幻燈片生成是在大綱的指導(dǎo)下，通過迭代編輯參考幻燈片來(lái)生成新幻燈片的過程。為了實(shí)現(xiàn)對(duì)幻燈片元素的精確操作，PPTAgent實(shí)現(xiàn)了五個(gè)專門的API，允許LLM編輯、刪除和復(fù)制文本元素，以及編輯和刪除視覺元素。此外，為了增強(qiáng)對(duì)幻燈片結(jié)構(gòu)的理解，PPTAgent將幻燈片從其原始XML格式轉(zhuǎn)換為HTML表示，這種表示形式更易于LLM解釋。

實(shí)驗(yàn)

評(píng)價(jià)指標(biāo)，現(xiàn)有的指標(biāo)包括：

• 成功率（Success Rate, SR）
• 困惑度（Perplexity, PPL）
• Fréchet Inception Distance（FID）

PPTEval指標(biāo)包括：

• 內(nèi)容（Content）
• 設(shè)計(jì)（Design）
• 連貫性（Coherence）
• 平均分（Avg.）

這些指標(biāo)用于評(píng)估生成的PPT在不同維度上的質(zhì)量。

參考文獻(xiàn)

PPTAgent: Generating and Evaluating Presentations Beyond Text-to-Slides，https://arxiv.org/pdf/2501.03936v1

本文轉(zhuǎn)載自公眾號(hào)大模型自然語(yǔ)言處理  作者：余俊暉

原文鏈接：??https://mp.weixin.qq.com/s/J4Sk1zhtR1poE8TvZJf23Q??