6月21日，騰訊混元文生圖大模型（以下簡稱為混元DiT模型）宣布全面開源訓練代碼，同時對外開源混元DiT LoRA 小規模數據集訓練方案與可控制插件ControlNet。

這意味著，全球的企業與個人開發者、創作者們，都可以基于混元DiT訓練代碼進行精調，創造更具個性化的專屬模型，進行更大自由度的創作；或基于混元DiT的代碼進行修改和優化，基于此構建自身應用，推動技術的快速迭代和創新。

作為中文原生模型，用戶在通過混元DiT的訓練代碼進行精調時，可以直接使用中文的數據與標簽，無需再將數據翻譯成英文。

此前，騰訊混元文生圖大模型宣布全面升級并對外開源，已在 Hugging Face 平臺及 Github 上發布，可供企業與個人開發者免費商用。這是業內首個中文原生的DiT架構文生圖開源模型，支持中英文雙語輸入及理解。模型開源僅一個月，Github Star數達到2.4k，位于開源社區熱門DiT模型前列。

混元DiT Github項目頁面

在開源訓練代碼的同時， LoRA小規模數據集訓練方案與可控制插件ControlNet的發布也讓混元DiT模型的開源生態更具想象力。

LoRA模型，全稱Low-Rank Adaptation of Large Language Models，是一種用于微調大型語言模型的技術。在文生圖模型中，LoRA被用作一種插件，允許用戶在不修改原有模型與增加模型大小的情況下，利用少量數據訓練出具有特定畫風、IP或人物特征的模型。

LoRA技術在文生圖開源領域十分受歡迎，大量的創作者利用這種技術創造出多種多樣的模型，比如使用幾張個人照片，生成一個專屬于某個人的高精度照相館；或創造出盲盒、黏土等風格模型。

AI圖像社區LiblibAI上的LoRA模型

混元DiT本次發布的專屬LoRA插件，支持開發者最少僅需一張圖即可創作出專屬的模型。比如，導入四張青花瓷圖片與相應的提示詞，即可完成模型訓練，創建了一個“青花瓷”生成模型：用戶輸入簡單提示詞，即可生成想要的青花瓷圖像。

部分訓練數據：

訓練后模型的推理結果示例：

使用混元DiT LoRA訓練的青花瓷生成模型

本次上線的另一個插件ControlNet，則是一種應用于文生圖領域的可控化生成算法，它允許用戶通過添加額外條件來更好地控制圖像的生成。

目前，騰訊混元提供了能提取與應用圖像的邊緣（canny）、深度（depth）、人體姿勢（pose）等條件的三個首發ControlNet模型，讓開發者直接使用其進行推理。該三個ControlNet插件能實現通過線稿生成全彩圖、生成具有同樣深度結構的圖、生成具有同樣姿態的人等能力。同時，混元DiT也開源了ControlNet的訓練方案，開發者與創作者可以訓練自定義的ControlNet模型。

騰訊混元DiT上線的三個ControlNet插件效果演示

自混元DiT模型開源以來，得到了眾多開發者的支持和反饋，騰訊混元團隊也一直在持續完善和優化基于混元DiT的開源組件，與行業共建下一代視覺生成開源生態。本月初，混元DiT發布的專屬加速庫，可將推理效率進一步提升，生圖時間縮短75%。同時模型易用性大幅提升，用戶可以基于ComfyUI的圖形化界面，使用混元DiT，或者通過Hugging Face Diffusers通用模型庫，僅用三行代碼即可調用混元DiT模型，無需下載原始代碼庫。

據了解，騰訊混元文生圖能力已廣泛被用于素材創作、商品合成、游戲出圖等多項業務及場景中。今年初，騰訊廣告基于騰訊混元大模型發布了一站式AI廣告創意平臺騰訊廣告妙思?！堆胍曅侣劇贰缎氯A日報》等20余家媒體也已經將騰訊混元文生圖用于新聞內容生產。