成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Stable Diffusion變身3D神器!一個LoRA將2D圖像轉3D模型

人工智能 新聞
港科大(廣州)與趣丸科技合作推出了全新三維生成大模型——Kiss3DGen,創新性地將3D生成與成熟的圖像生成模型進行了對齊。

在Stable Diffusion當中,只需加入一個LoRA就能根據圖像創建3D模型了?

港科大(廣州)與趣丸科技合作推出了全新三維生成大模型——Kiss3DGen,創新性地將3D生成與成熟的圖像生成模型進行了對齊。

并且與主流2D擴散模型技術(如ControlNet、Flux-Redux)兼容協同,無需額外訓練即可即插即用

圖片

△由Kiss3DGen生成的場景

即使在有限的訓練數據條件下,Kiss3DGen仍能生成高質量的3D資產,減少對大規模數據的依賴,同時在靈活性和性能方面表現出色。

目前,Kiss3DGen單獨使用效果已優于現有開源方法,而且在與現有方法相結合后,性能可進一步增強。

圖片

將3D生成轉換為2D生圖

Kiss3DGen的核心創新點在充分利用現有2D圖像生成模型的知識與框架,將多視圖圖像和對應法線貼圖拼接成三維聚合圖(3D Bundle Image),把傳統3D生成問題轉化為2D圖像生成任務。

圖片

這種方式無需調整現有2D模型的結構,能夠最大程度繼承其成熟的技術優勢。

具體流程可分為兩大步驟:

  • 三維聚合圖生成:利用DiT(Diffusion Transformer)模型的全局感知能力,高效生成高度對齊的多視圖圖像及對應法線貼圖,無需調整2D模型結構,即可繼承其成熟技術優勢。
  • Mesh與紋理重建:利用生成的法線貼圖進行Mesh重建,通過圖像部分生成對應的貼圖。整個過程無需額外訓練,可直接使用現有重建方法完成高質量3D資產生成。

圖片

在訓練階段,需要構建高質量文本-3D數據集,使用LoRA技術對預訓練的文本-圖像擴散模型(如Flux或SD3.5)進行微調,生成高度符合文本描述的三維聚合圖。

而生成階段又可以分為兩個環節——

首先利用訓練好的模型,根據輸入文本提示,生成包含3D模型多視角信息的三維聚合圖。

然后,通過LRM或球體初始化方法粗略重建幾何和紋理,再通過網格優化與紋理投影技術(如ISOMER),精確重建3D模型的幾何形狀和紋理細節。

團隊簡介

該研究的作者為林堅濤、楊鑫以及陳美羲,他們是來自于香港科技大學(廣州)ENVISION實驗室的碩博生。

圖片

圖片

圖片

本工作由趣丸科技資助,由陳穎聰教授帶領碩博研究團隊與趣丸科技聯合打造。

陳穎聰,香港科技大學(廣州)人工智能學域助理教授,博導,受國家人才計劃青年項目資助,他長期致力于計算機視覺和視覺生成模型的研究,已在TPAMI、CVPR、ICCV、ECCV等頂級會議和期刊發表五十余篇論文。

陳教授的研究方向包括三維生成與重建、圖像視頻生成等,并多次以第一作者身份在頂級會議上做口頭報告。

他的研究成果屢獲大獎,包括ICCV 2023最佳論文提名和中國圖像圖形學會自然科學獎一等獎。

同時,陳教授也在多個學術會議和期刊中擔任程序委員會成員或審稿人,并與多個科技公司建立了深入的合作關系。

圖片

論文:https://arxiv.org/abs/2503.01370
代碼:https://github.com/EnVision-Research/Kiss3DGen
項目主頁:https://ltt-o.github.io/Kiss3dgen.github.io
在線體驗:https://gen3d.funnycp.com
實驗室主頁:https://envision-research.hkust-gz.edu.cn/index.html

責任編輯:張燕妮 來源: 量子位
相關推薦

2011-09-22 10:07:52

奧圖碼投影儀

2011-05-03 11:07:46

2D3D麗訊

2020-08-26 10:37:21

阿里3D

2023-05-03 09:01:41

CanvasWebGL

2024-12-10 09:40:00

AI3D模型

2013-01-30 16:15:40

adobeHTML5css3

2010-09-30 10:31:43

J2ME3D

2022-05-23 10:26:10

人工智能機器學習機器視覺

2023-12-11 09:00:00

人工智能3D模型

2023-02-20 14:56:14

圖像

2024-03-20 15:51:00

AI數據

2022-07-13 10:20:14

自動駕駛3D算法

2020-03-06 10:34:40

AI 數據人工智能

2011-10-06 13:30:45

宏碁投影儀

2012-11-26 12:51:44

木材3D打

2022-06-14 07:51:10

Godot游戲引擎

2019-11-18 10:22:01

深度學習編程人工智能

2009-02-02 08:50:42

SilverlightRIA3D圖像

2024-04-23 09:30:07

3D模型
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 69电影网 | www.4虎影院| 99爱在线| 超碰91在线 | av黄色在线观看 | 久久视频精品 | 久久久久国产精品午夜一区 | 中文字幕一区在线观看视频 | 久久精品电影 | 国产精品国产精品国产专区不卡 | 午夜久久久久久久久久一区二区 | 亚洲二区视频 | 亚洲国产成人精品久久久国产成人一区 | 国产精品久久久久久久久免费桃花 | 欧美在线资源 | 99精品视频在线观看免费播放 | 日韩视频区 | 欧美日韩国产三级 | 国产精品a久久久久 | 午夜久久久久久久久久一区二区 | 免费精品一区 | 国产精品久久99 | 国产真实精品久久二三区 | 久久国产区 | 精品久久一区 | 99精品欧美一区二区三区 | 一级免费毛片 | 欧美国产亚洲一区二区 | 91高清免费 | 国产一区二区三区四区hd | 久久国产视频网站 | 久久综合伊人 | 欧洲一区二区在线 | 国产亚洲日本精品 | 国产精品一区一区 | 久久久久久久一区二区 | 福利片一区二区 | 欧美日韩精品在线免费观看 | 在线播放中文字幕 | 国产成年人小视频 | 精品一区二区三区免费毛片 |