阿里提出文生卡通新方法Textoon：一分鐘內生成豐富多彩、可交互的Live2D格式角色
阿里提出了一種基于文本描述生成多樣化2D卡通角色的新方法Textoon， Textoon利用先進的語言和視覺模型，能夠在短短一分鐘內生成豐富多彩、可交互的Live2D格式角色。這種方法不僅提高了生成效率，還降低了對計算資源的需求，使得2D卡通角色的創作更加便捷和高效。
Textoon：根據文本描述生成生動的 2D 卡通人物
相關鏈接
- 論文：http://arxiv.org/abs/2501.10020v1
- 主頁：https://human3daigc.github.io/Textoon_webpage/
- 視頻：https://youtu.be/cA0yNZwyGTo
論文介紹
2D 卡通風格是數字角色創作中一種重要的藝術形式，尤其受到年輕觀眾的歡迎。雖然數字人技術的進步促進了對逼真的數字人和 3D 角色的廣泛研究，但交互式 2D 卡通角色受到的關注相對較少。與需要復雜構造和資源密集型渲染的 3D 卡通角色不同，廣泛使用的 2D 卡通角色格式 Live2D 提供了一種更高效的替代方案，它允許以模擬 3D 運動的方式為 2D 角色制作動畫，而無需構建完整的 3D 模型。此外，Live2D 采用輕量級 HTML5 (H5) 渲染，提高了可訪問性和效率。
論文提出的Textoon是一種基于文本描述以 Live2D 格式生成各種 2D 卡通角色的創新方法。Textoon 利用尖端的語言和視覺模型來理解文本意圖并生成 2D 外觀，能夠在一分鐘內創建各種令人驚嘆且具有交互性的 2D 角色。
方法
Textoon 概述。該框架利用經過微調的 LLM 從用戶輸入的文本中準確提取組件描述詞，使用相應的組件控制 2D 動畫角色的外觀生成。它允許用戶重新編輯細節，并使用組件將生成的圖像提取并補全為 Live2D 模型紋理。生成的 Live2D 模型多樣且與原始動畫兼容。
不同層的網格
拆分模型組件，可以利用較大的元素來創建短的變體
使用經過微調的 LLM 解析復雜輸入文本中的組件類別
結果
模板模型中各個組件的劃分
支持 ARKit 口型同步駕駛的 Live2D 模型
生成的Live2D模型整體動畫效果
創建的 Live2D 卡通人物示例及其相應的文本提示
結論
Textoon是第一種從文本描述生成各種 Live2D 卡通人物的方法。通過利用尖端的語言和視覺模型，Textoon 可以在不到一分鐘的時間內快速創建各種令人驚嘆且具有交互性的 2D 人物。還集成了與 ARKit 兼容的面部混合形狀，增強了嘴部運動以實現更具表現力的交互，從而可以與用戶進行生動的對話。生成的 live2D 卡通人物可以使用 HTML5 無縫渲染，提供廣泛的應用可能性。
