LineArt：無需訓練的高質(zhì)量設計繪圖生成方法，可保留結構準確性并生成高保真外觀
本文經(jīng)AIGC Studio公眾號授權轉載，轉載請聯(lián)系出處。
今天給大家介紹一種無需訓練的基于擴散模型的高質(zhì)量設計繪圖外觀遷移方法LineArt，該方法可以將復雜外觀轉移到詳細設計圖上的框架，可促進設計和藝術創(chuàng)作。現(xiàn)有的圖像生成技術在細節(jié)保留和風格樣式一致性方面存在局限，尤其是在處理專業(yè)設計圖時。LineArt的提出很好的解決了這個問題，因此特別適用于設計圖紙的生成。
LineArt工作利用設計圖和參考照片來生成相應的結果。
相關鏈接
- 論文：http://arxiv.org/abs/2412.11519v1
- 項目：https://meaoxixi.github.io/LineArt/
- 代碼：https://github.com/YOUR%20REPO%20HERE
論文介紹
LineArt：一種基于擴散模型、知識引導、無需訓練的高質(zhì)量設計繪圖外觀轉換方法
線條圖的圖像渲染在設計中至關重要，圖像生成技術可以降低成本，但專業(yè)的線條圖需要保留復雜的細節(jié)。文本提示難以保證準確性，而圖像轉換則難以保證一致性和細粒度控制。
LineArt是一個將復雜外觀轉移到詳細設計圖上的框架，可促進設計和藝術創(chuàng)作。它通過模擬分層視覺認知并整合人類藝術經(jīng)驗來指導傳播過程，在保留結構準確性的同時生成高保真外觀。LineArt 克服了當前方法在細粒度控制困難和設計圖中風格退化的局限性。它不需要精確的 3D 建模、物理屬性規(guī)范或網(wǎng)絡訓練，使其更方便完成設計任務。
LineArt 由兩個階段組成：一個多頻線融合模塊，用于為輸入的設計圖補充詳細的結構信息，以及一個用于基礎層成型和表面層著色的兩部分繪畫過程。我們還提出了一個新的設計圖數(shù)據(jù)集 ProLines 供評估。實驗表明，與 SOTA 相比，LineArt 在準確性、真實感和材料精度方面表現(xiàn)更好。
方法
工作流程： 該過程從設計圖 L original和外觀圖像 I appearance開始。基于深度的 ControlNet 估計深度并生成軟邊緣以指導合成。
- （a）多頻線融合模塊采用斷言引導技術來增強結構細節(jié)控制。
- （b）基礎層塑造使用多尺度視網(wǎng)膜方法分解外觀圖像的照明，生成視網(wǎng)膜照明層 L retinex以平衡亮度。
- （c）表面層著色利用 U 網(wǎng)絡中的布局和樣式塊和交叉注意來細化輸出，以實現(xiàn)準確的材料嵌入。
ProLine 數(shù)據(jù)集
ProLine數(shù)據(jù)集的構建：
- (b)顯示了根據(jù)圖像復雜度進行初步篩選以及人工去除噪聲數(shù)據(jù)后的數(shù)據(jù)概覽。
- (c)顯示了選定數(shù)據(jù)的數(shù)據(jù)預處理，包括mask的自動處理過程和三輪人工驗證。
經(jīng)過(b)(c)兩個過程得到了5101幅珍貴的線圖。
結果
該工作與其他 SOTA 在處理具有精細結構的技術圖紙和指定材料的圖像的定性結果中進行了比較。從圖中可以看出，論文提出的方法可以在保持更精細結構的同時生成更準確的紋理，并且對材料圖像具有更合適的顏色表示。
該方法在輔助設計中的應用示例。該方法可以將各種材質(zhì)紋理與技術圖融合，生成豐富的材質(zhì)效果預覽，輔助設計師選擇最合適的材質(zhì)組合進行產(chǎn)品線稿設計。
對 ProLines 數(shù)據(jù)集上不同方法的定量評估。論文使用八個指標從三個維度評估結果的質(zhì)量。結果表明，該方法在感知質(zhì)量和準確性之間取得了良好的平衡，特別是在保留圖像細節(jié)和紋理方面。最佳值以紅色突出顯示，次佳值以黃色突出顯示。
