論文鏈接：https://arxiv.org/pdf/2502.18461 
項目鏈接：https://k-lora.github.io/K-LoRA.io/

亮點直擊

• 提出了K-LoRA，一種簡單而有效的優化技術，能夠無縫融合內容和風格LoRA，從而在保留細節的同時生成任何主題的任意風格。
• 本文的方法用戶友好，無需重新訓練，可直接應用于現有的LoRA權重。它在多樣化的圖像風格化任務中表現出色，超越了現有方法。

總結速覽

解決的問題

• 風格與內容的同時保留：現有方法在融合不同LoRA（Low-Rank Adaptation）時，難以同時有效保留原始圖像的主體內容和風格細節。
• 額外訓練需求：現有方法通常需要手動調整超參數或進行額外的訓練，增加了復雜性和計算成本。

提出的方案

• K-LoRA方法：提出了一種無需額外訓練的LoRA融合方法，稱為K-LoRA。該方法在每個注意力層中，通過比較待融合的每個LoRA的Top-K元素，選擇最優的LoRA進行融合。
• Top-K選擇機制：在注意力層的前向傳播過程中，引入Top-K選擇過程，以確定每個位置最合適的注意力組件。
• 縮放因子應用：在融合過程中應用縮放因子，以強調風格和內容在擴散過程中的不同作用。

應用的技術

• LoRA（Low-Rank Adaptation）：利用LoRA在圖像生成任務中的高效微調能力，獨立訓練風格和內容特征。
• 擴散模型：結合擴散模型的時間步長，將LoRA的注意力層按時間步長融入模型，以評估其對性能的影響。
• Top-K選擇：在每個注意力層中，通過Top-K選擇機制，選擇最具代表性的特征進行融合。

達到的效果

• 有效融合風格與內容：K-LoRA能夠有效融合原始LoRA學習到的主體和風格信息，生成圖像中同時保留風格細節和主體特征。
• 無需額外訓練：該方法無需額外訓練，簡化了操作流程，提高了用戶友好性。
• 性能提升：在定性和定量結果上，K-LoRA均優于現有的基于訓練的方法，顯著提升了融合LoRA的性能。

方法

K-LoRA

在[26]中指出，在使用LoRA進行微調時，使用較少的關鍵元素可以實現與原始方法相同的生成結果。然而，作者并未在圖像生成領域提供相關實驗來解釋這一點。本文首先嘗試利用這種方法，通過類似于Magmax的方法，將值較小的元素賦值為零。通過這種方式修改矩陣元素所得到的結果與[26, 30]的結果相似，因為模型未能正確解釋其先前學習到的概念，導致圖像生成質量欠佳。

鑒于直接修改注意力元素的復雜性和局限性，一個問題隨之而來：能否在去噪過程中利用LoRA矩陣的稀疏特性？目標是找到一種替代方法，在不修改原始LoRA權重的情況下，為每一步或每一層找到一個良好的權重選擇方法和精確的LoRA定位。基于多LoRA組合，隨機將內容LoRA注意力層應用于擴散步驟，通過使用x%的注意力層來影響對象，以觀察生成結果。如下圖3(a)所示，發現當x > 50時，結果與原始模型幾乎無法區分。然而，當x < 25時，模型維持原始個性化概念的能力顯著下降。

受近期研究[20, 29, 35]的啟發，本文進一步擴展了下圖2中的實驗，發現將風格LoRA應用于較早的時間步對原始對象的重建有顯著影響，而在較晚的時間步應用則可以保留風格信息而不影響原始對象。對于內容LoRA，在較早的時間步應用比在較晚的時間步應用效果顯著更好。

上述分析促使通過自適應選擇每個注意力層的LoRA模塊來實現生成對象和風格的融合。根據發現(i)，選擇策略應保留整體對象和風格信息。此外，根據發現(ii)，生成過程應通過適當安排對象和風格組件來實現。即在早期擴散步驟中，模型應更專注于對象重建，同時引入風格紋理；而在后期步驟中，最好通過細微的對象細節來優化風格。本文提出了K-LoRA，如下圖4所示，它可以自適應地選擇適當的LoRA層來融合學習到的主體和風格。

首先，對LoRA層中的每個元素取絕對值，以確定某個值是否在生成過程中起到重要作用。

其中，Top-K 返回最大K個值的索引。對于K的選擇，注意到 LoRA 訓練過程中的秩數在一定程度上反映了矩陣中包含的信息量。因此，選擇的K與每個 LoRA 的秩保持一致：

為了更有效地利用發現(ii)，并讓對象和風格在不同階段發揮各自的作用，同時確保從以對象為中心的表示平滑過渡到以風格為中心的表示，本文引入了一個縮放因子s 。該因子s直接應用于 Top-K 選擇過程，在生成的早期階段增強對象內容，并在后期逐步強調風格。

為了更好地解釋權重選擇過程，在下圖6中展示了選擇比例，其中對象和風格無縫地相互滲透和融合。第一部分主要關注對象，同時融入少量風格，而后半部分則主要強調風格，同時保留對象的微妙存在，這進一步證實了我們的關鍵發現。

實驗

實驗設置

數據集：遵循ZipLoRA的慣例，對于通過本地訓練獲得的LoRA，從DreamBooth數據集中選擇了一組多樣化的內容圖像，每組包含4-5張給定主題的圖像。對于風格，我們選擇了StyleDrop作者提供的先前數據集，并包括一些經典杰作和現代創新風格。對于每種風格，僅使用單張圖像進行訓練。

結果

定量比較：隨機選擇了18組對象和風格的組合，每組包含10張圖像進行定量比較。使用CLIP來衡量風格相似性，并通過CLIP分數和DINO分數計算主體相似性。將本文的方法與社區中流行的方法以及最先進的方法進行比較，包括直接算術融合、聯合訓練、ZipLoRA和B-LoRA。結果如下表1所示。可以觀察到，與之前的方法相比，本文的方法顯著提高了主體相似性指標，同時也實現了令人滿意的風格相似性。

定性比較：為了確保公平評估，本階段的所有實驗均使用SD進行，結果如下圖7所示。直接設置融合比例為1:2而不進行大量參數調整或種子選擇時，融合LoRA的方法難以保留對象的原始形狀、顏色和風格特征。B-LoRA主要捕捉原始圖像中對象的顏色和外觀，但往往導致顏色過擬合，使得生成圖像中難以區分原始對象。在ZipLoRA和聯合訓練方法中，雖然融入了某些風格紋理，但模型傾向于關注風格的背景元素而非風格本身，導致成功率較低。相比之下，本文的方法通過生成更高質量的輸出圖像并在廣泛的種子變化中表現穩定，解決了這些局限性。此外，本文的方法無需額外訓練或參數微調。

隨機選擇了22組結果供用戶進行比較評估。每組包括ZipLoRA、B-LoRA和本文的方法的輸出，以及訓練對象和風格的參考圖像。用戶被要求確定哪種方法最能同時保留風格和對象。結果顯示在下表2中，表明本文的方法最受青睞。此外，我們還咨詢了GPT-4o進行類似評估。本文的方法在GPT-4o評估中顯示出顯著優勢，進一步反映了我們方法的優越性。

消融分析

Top-K選擇：本文進行了兩項實驗來驗證Top-K選擇方法的有效性：固定選擇和隨機選擇。發現(ii)提出了一種直接的方法：如果縮放因子大于1，則選擇內容LoRA；否則，選擇風格LoRA。這種方法稱之為“固定選擇”，作為測試Top-K選擇方法消融的有用基線。它也可以被視為多LoRA組合的擴展和改進，在某些場景中顯示出良好的效果。然而，在特定的風格LoRA條件下，這種方法可能會導致對象模糊或內容外觀的改變，如圖9所示。

為了確保模塊在指定的前向層安排中表現一致，而不是依賴于任意配置，進行了一項稱為“隨機選擇”的對照實驗，使用隨機種子。在此設置中，模型使用一個隨機數，有1/3的概率選擇內容注意力，2/3的概率選擇風格注意力。如圖9所示，在這些隨機選擇條件下，生成的圖像通常僅保留單一的對象特征或風格特征，或者完全無法保留兩者。這一結果進一步驗證了我們的發現(ii)，突出了對象和風格組件在早期和后期擴散時間步中的不同作用。

此外，評估了不同K值對生成圖像的影響，如下圖8所示。在Top-K方法中，系統地改變了K的值。當K較小時，風格和對象的特征都不夠突出。隨著K的增加，這一問題逐漸改善。然而，如果K過大，風格可能無法保留，對象的形狀也可能發生顯著扭曲。

縮放因子：為了評估縮放因子的有效性，將其移除，僅關注原始的Top-K方法。在第一個實驗中，如下圖9所示，分析表明，雖然在某些條件下僅使用Top-K可以產生令人滿意的結果，但擴大實驗范圍會發現對象失真和風格丟失的情況。為了進一步評估縮放因子中的重要性，我們測試了兩個來源不同的LoRA模型的性能，其特征是元素和的顯著差異。如圖9底部所示，Top-K選擇未能準確捕捉風格，而固定選擇中對象和風格的融合明顯弱于本文的方法。

總之，移除這兩個模塊會導致生成性能下降，突出了它們對模型整體有效性的關鍵貢獻。

結論

K-LoRA，它能夠無縫融合獨立訓練的風格和主體LoRA模型。K-LoRA在保留原始風格復雜細節的同時，實現了精確的對象微調。本文的方法通過Top-K選擇和縮放因子，有效利用了對象和風格LoRA在每一步擴散中的貢獻，最大化地利用了原始權重，并實現了無需重新訓練或手動超參數調整的精確風格融合。

本文轉自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/UTkyGZFgRz6guDt9K8Cqcw??