文本到圖像生成領域近兩年取得了很大的突破，從 GAN 到 Stable Diffusion，圖像生成的速度越來越快，生成效果越來越好。然而，AI 模型生成的圖像在細節上還有很多瑕疵，并且使用自然語言指定對象的確切位置、大小或形狀存在一定的困難。為了生成精準、高質量的圖像，現有方法通常依賴于廣泛的提 prompt 工程或手動創建圖像草圖。這些方法需要大量的人工工作，因此非常低效。

最近，來自加州大學伯克利分校（UC 伯克利）和微軟研究院的研究者從編程的角度思考了這個問題。當前，用戶能夠使用大型語言模型較好地控制代碼生成，這讓該研究看到了編寫程序來控制生成圖像細節的可能，包括物體的形狀、大小、位置等等。基于此，該研究提出利用大型語言模型（LLM）生成代碼的功能實現可控型文本到圖像生成。

論文地址：https://arxiv.org/pdf/2305.18583.pdf

該研究提出了一個簡單而有效的框架 Control-GPT，它利用 LLM 的強大功能根據文本 prompt 生成草圖。Control-GPT 的工作原理是首先使用 GPT-4 生成 TikZ 代碼形式的草圖。如下圖 1 (c) 所示，程序草圖（programmatic sketch）是按照準確的文本說明繪制的，隨后這些草圖被輸入 Control-GPT。Control-GPT 是 Stable Diffusion 的一種變體，它能接受額外的輸入，例如參考圖像、分割圖等等。這些草圖會充當擴散模型的參考點，使擴散模型能夠更好地理解空間關系和特殊概念，而不是僅僅依賴于文本 prompt。這種方法使得 prompt 工程和草圖創建過程不再需要人為干預，并提高了擴散模型的可控性。

我們來看一下 Control-GPT 方法的具體細節。

方法

對圖像生成來說，訓練過程的一個較大挑戰是缺乏包含對齊文本和圖像的數據集。為了解決這個難題，該研究將現有實例分割數據集（例如 COCO 和 LVIS）中的實例掩碼轉換為多邊形的表示形式，這與 GPT-4 生成的草圖類似。

然后，該研究構建了一個包含圖像、文本描述和多邊形草圖的三元數據集，并微調了 ControlNet。該研究發現這種方法有助于更好地理解 GPT 生成的草圖，并且可以幫助模型更好地遵循文本 prompt 指令。

ControlNet 是擴散模型的一種變體，它需要額外的輸入條件。該研究使用 ControlNet 作為基礎圖像生成模型，并通過編程草圖和 grounding token 的路徑對其進行擴展。

框架

如下圖 2 所示，在 Control-GPT 中，首先 GPT-4 會根據文本描述生成 TikZ 代碼形式的草圖，并輸出圖像中物體的位置。然后該研究用 LATEX 編譯 TikZ 代碼，將草圖轉換為圖像格式，再將編程草圖、文本描述和物體位置的 grounding token 提供給經過調優的 ControlNet 模型，最終生成符合條件的圖像。

使用 GPT-4 生成的草圖訓練 ControlNet 是必要的，因為預訓練的 ControlNet 不理解生成的草圖，不能將其轉換為現實圖像。為了 prompt GPT-4，該研究要求用戶遵循如下的 prompt 樣本，以讓 GPT-4 請求 TikZ 代碼片段的結構化輸出，以及相關物體的名稱和位置。然后，該研究使用 GPT-4 的輸出來編譯草圖圖像并獲得 grounding token。

LLM 繪制草圖的準確性如何

Control-GPT 的精度取決于 LLM 生成草圖時的準確性和可控性。因此，該研究對 LLM 在草圖生成方面的性能進行了基準測試。實驗結果表明 GPT 系列模型在草圖生成方面明顯優于 LLaMa 等開源模型，并且 GPT-4 在遵循文本指令方面表現出驚人的高準確性（約 97%）。

該研究對 Control-GPT 和一些經典模型的生成結果進行了人工評估，結果表明當圖像中包含兩個不相關的罕見物體組合時，一些模型的生成效果比較差，而 Control-GPT 的生成結果相對較好，如下表 2 所示：

查詢 LLMs，生成一個 TikZ 代碼片段來描述給定的文本，進而檢查 LLMs 的性能。如下表 1 所示，GPT-series 模型的大多數代碼片段都可以編譯為有效的草圖，而 LLaMA 和 Alpaca 的輸出要么是空的，要么不可運行。在 GPT-series 模型中，最新的 GPT-4 在 95 個查詢中只有 3 次失敗，這些查詢成功地生成了有效草圖，在遵循文本指令方面的成功率大約有 97%。ChatGPT 是 GPT-3.5 的 RLHF 微調版本，其性能明顯低于原始 GPT-3.5。在調優過程中，聊天能力和代碼生成之間可能存在著權衡。

在下圖 4 中，研究者提供了一個來自 GPT 系列模型的可視化草圖例子。雖然生成的草圖不如照片那樣逼真，但它們往往能捕捉到語義，并正確推理出物體的空間關系。生成的草圖經常出人意料地通過簡單的代碼片斷來正確處理物體形狀。

下圖最后一行展示了 GPT-4 的一個失敗案例，即模型無法生成物體形狀，而 GPT-3.5 卻能給出一個正確的草圖。GPT-4 在草圖生成方面的高精度帶來的啟發是：可以使用它來提高圖像生成模型的可控性。

實驗

基于 Visor 數據集，研究者對 Control-GPT 進行了一系列實驗設置的評估，測試其在空間關系、物體位置和大小方面的可控性。他們還將評估擴展到多個物體和分布外的 prompt。廣泛的實驗表明，Control-GPT 可以大大提升擴散模型的可控性。

下表 3 中列出了定量評估結果。可以看到，Control-GPT 模型可以在給定的一些規格下更好地控制物體的大小和位置。與幾乎無法控制物體位置和尺寸的 Stable Diffusion 模型（SD-v1.5）相比，Control-GPT 將總體精度從 0% 提高到 14.18%。與現成的 ControlNet 相比，Control-GPT 在所有指標上也取得了更好的表現，獲得了從 8.46% 到 4.18% 的整體改善。這些結果展示了本文的 LLM 集成框架在更細化和精確控制圖像生成過程方面的潛力。

視覺化。下圖 6 展示了定性評估結果，可以看到，ControlGPT 可以按照物體位置和尺寸的規范繪制物體。相比之下，ControlNet 也能遵循，但卻很難生成正確的物體，而 Stable Diffusion 則無法遵循規范。

對空間關系的消融實驗。研究者還探討了模型是否對不同類型的空間關系（如左 / 右 / 上 / 下）有偏好，作為空間關系基準分析的一部分。從下表 4 中可以看出，Control-GPT 在 Visor Score 和物體準確性方面一直比所有的基線模型工作得更好。

多個物體之間的關系。研究者對 Control-GPT 生成多個物體的能力進行了進一步的評估，這些物體的空間關系由 prompt 指定。下圖 7 展示了一些例子，Control-GPT 能理解不同物體之間的空間關系，并在 GPT-4 的幫助下將它們放入布局中，表現出了更好的性能。

可控性與圖像逼真度。通常，在生成逼真圖像與遵循精確布局之間往往存在著妥協，特別是對于分布外的文字 prompt。如下圖 8 所示，（a）是一個例子，生成的圖像完全遵循布局，但這導致了圖像中的一些偽影；而在（b）中，照片往往看起來很逼真，但沒有很好地遵循草圖。

更多研究細節，可參考原論文。