成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

八張GPU訓出近SOTA模型,超低成本圖像生成預訓練方案開源

人工智能
模型名為LightGen,由港科大Harry Yang團隊聯合Everlyn AI等機構打造,借助知識蒸餾(KD)和直接偏好優化(DPO)策略,有效壓縮了大規模圖像生成模型的訓練流程。

超低成本圖像生成預訓練方案來了——

僅需8張GPU訓練,就能實現近SOTA的高質量圖像生成效果。

劃重點:開源

圖片圖片

模型名為LightGen,由港科大Harry Yang團隊聯合Everlyn AI等機構打造,借助知識蒸餾(KD)直接偏好優化(DPO)策略,有效壓縮了大規模圖像生成模型的訓練流程。

LightGen不僅顯著降低了數據規模與計算資源需求,而且在高質量圖像生成任務上展現了與SOTA模型相媲美的性能。

圖片圖片

圖像inpainting效果belike:

圖片圖片

LightGen相較于現有的生成模型,盡管參數量更小、預訓練數據規模更精簡,卻在geneval圖像生成任務的基準評測中甚至超出了部分最先進SOTA模型。

此外,LightGen在效率與性能之間實現了良好的平衡,成功地將傳統上需要數千GPU days的預訓練過程縮短至僅88個GPU days,即可完成高質量圖像生成模型的訓練。

以下是更多細節。

LightGen長啥樣?

文本到圖像(Text-to-Image, T2I)生成任務近年來取得了飛速進展,其中以擴散模型(如Stable Diffusion、DiT等)和自回歸(AR)模型為代表的方法取得了顯著成果。

然而,這些主流的生成模型通常依賴于超大規模的數據集和巨大的參數量,導致計算成本高昂、落地困難,難以高效地應用于實際生產環境。

為了解決這一難題,香港科技大學Harry Yang教授團隊聯合Everlyn AI和UCF,提出了LightGen這一新型高效圖像生成模型,致力于在有限的數據和計算資源下,快速實現高質量圖像的生成,推動自回歸模型在視覺生成領域更高效、更務實地發展與應用。

圖片圖片

LightGen采用的訓練流程主要包括以下關鍵步驟:

一、數據KD

利用當前SOTA的T2I模型,生成包含豐富語義的高質量合成圖像數據集。

這一數據集的圖像具有較高的視覺多樣性,同時包含由最先進的大型多模態語言模型(如GPT-4o)生成的豐富多樣的文本標注,從而確保訓練數據在文本和圖像兩個維度上的多樣性。

二、DPO后處理

由于合成數據在高頻細節和空間位置捕獲上的不足,作者引入了直接偏好優化技術作為后處理手段,通過微調模型參數優化生成圖像與參考圖像之間的差異,有效提升圖像細節和空間關系的準確性,增強了生成圖像的質量與魯棒性。

通過以上方法,LightGen顯著降低了圖像生成模型的訓練成本與計算需求,展現了在資源受限環境下獲取高效、高質量圖像生成模型的潛力。

圖片

實驗效果如何?

作者通過實驗對比了LightGen與現有的多種SOTA的T2I生成模型,使用GenEval作為benchmark來驗證LightGen模型和其它開源模型的性能。

結果表明,LightGen模型在模型參數和訓練數量都小于其它模型的的前提下,在256×256和512×512分辨率下的圖像生成任務中的表現均接近或超過現有的SOTA模型。

圖片圖片

LightGen在單物體、雙物體以及顏色合成任務上明顯優于擴散模型和自回歸模型,在不使用DPO方法的情況下,分別達到0.49(80k步訓練)和0.53的整體性能分數。

在更高的512×512分辨率上,LightGen達到了可比肩當前SOTA模型的成績,整體性能分數達到0.62,幾乎超過所有現有方法。

特別地,加入DPO方法后,模型在位置準確性和高頻細節方面的表現始終穩定提升,這體現了DPO在解決合成數據缺陷上的有效性

除此之外,消融實驗結果顯示,當數據規模達到約100萬張圖像時,性能提升會遇到瓶頸,進一步增加數據規模帶來的收益很有限。因此,作者最終選擇了200萬張圖像作為最優的預訓練數據規模。

圖片圖片

上圖(b)探討了不同訓練迭代次數對GenEval在256與512分辨率下性能的影響。

值得注意的是,在256像素階段,僅經過80k訓練步數便能達到相當不錯的性能,這突顯了數據蒸餾方法在訓練效率上的優勢。

團隊表示,未來研究可進一步探索該方法在其他生成任務(如視頻生成)上的應用,推動高效、低資源需求的生成模型進一步發展。

論文鏈接:https://arxiv.org/abs/2503.08619
模型鏈接:https://huggingface.co/Beckham808/LightGen
項目鏈接:https://github.com/XianfengWu01/LightGen

責任編輯:武曉燕 來源: 量子位
相關推薦

2025-03-13 12:39:22

2025-04-02 09:00:00

模型開源AI

2025-03-19 10:41:11

2022-11-09 13:53:45

AI圖像

2022-06-30 08:55:15

DDoSWAF網絡攻擊

2025-05-12 14:24:56

生成AI圖像

2022-06-30 11:03:27

DDoS攻擊WAF

2025-03-13 10:26:45

2024-03-22 15:08:47

CLIP機器學習人工智能

2023-07-18 15:05:00

開源大模型

2012-01-11 21:56:15

噴墨打印機推薦

2022-10-19 14:03:45

開源AI

2025-02-18 10:54:04

2024-01-05 07:55:39

Linux虛擬內存

2009-08-14 10:27:24

校園網絡管理 網絡安全網絡安全網絡成本

2022-12-05 10:08:59

2020-03-17 09:42:00

谷歌開源機器學習

2011-12-31 14:00:40

聯想噴墨打印機

2011-07-05 15:39:50

FTTH

2023-10-18 12:50:12

數據模型
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 一区二区三区电影在线观看 | 欧美精品中文 | 日韩精品一区中文字幕 | 亚洲精品电影网在线观看 | 免费a在线| 9久9久 | 中文字幕精品一区二区三区在线 | av网站免费在线观看 | www.亚洲视频 | 久久99精品久久久久久 | 国产精品免费看 | 日韩精品一区二区三区在线播放 | 羞羞在线视频 | 91精品国产99 | 一级毛片视频在线 | av看看 | 日本小视频网站 | 国产精品久久国产精品 | 欧美成人精品一区二区男人看 | 亚洲欧美精品一区 | 中文字幕 亚洲一区 | 在线看一区二区三区 | 午夜精品久久久久久不卡欧美一级 | 久久亚洲国产精品日日av夜夜 | 国产三级精品三级在线观看四季网 | 精品视频在线播放 | 亚洲一区视频在线 | 香蕉超碰 | 亚洲视频在线看 | 精品久久久网站 | 日韩精品区 | 黄色在线观看国产 | 久久精品国产一区 | 91久久视频| 国产精品一区二区在线 | 国产精品1区 | 国产精品黄色 | 岛国精品 | 成年人免费在线视频 | 国产精品夜夜春夜夜爽久久电影 | 91久久爽久久爽爽久久片 |