參數少80%，效果仍超LoRA！上交大&上海AI Lab推出高效微調框架FLoRA

作者：量子位 2024-07-03 12:12:33

人工智能新聞

以視覺任務為例，FLoRA能在比LoRA少80%參數的情況下，取得與之一致的效果。

為了讓大模型在特定任務、場景下發(fā)揮更大作用，LoRA這樣能夠平衡性能和算力資源的方法正在受到研究者們的青睞。

然而，以LoRA為代表的眾多低秩微調方法（包括DoRA， MoRA， AdaLoRA等衍生方法）仍存在一個問題：

它們通常通常都更適合Linear層，Embedding層這類“直入直出”的低維度張量，忽略了對更高維度甚至N維張量的考慮。

盡管這些方法可以通過一定方式將高維度張量轉化為2D張量來微調參數，如LoRA將Conv2D卷積層參數所具有的四維張量轉化為二維張量。但其存在兩方面的挑戰(zhàn)：

這種將卷積核拆開分別reshape到，維度上的方法雖然避免了參數的大規(guī)模增加，但是破壞了卷積核本身的結構特性。這對于密集預測類任務所需要的局部歸納偏置是一種負向影響。
隨著張量維度的升高，reshape為二維的方式會造成急劇的參數量增加，背離了參數高效微調方法的初衷。

為了解決以上兩個問題，來自上海交通大學、上海AI Lab的研究人員提出了FLoRA方法（flora意為植物群，具有廣泛的寓意）。

以視覺任務為例，FLoRA能在比LoRA少80%參數的情況下，取得與之一致的效果。

作者認為，各維度參數的調整應該通過一個全局的低秩核心空間的子空間來進行，低秩核心空間本身則保留了原參數不同維度之間存在的拓撲關系以及交互性。

具體來說，作者通過應用Tucker分解來實現對低秩核心空間的構建，完成了以統(tǒng)一視角來推導N維張量低秩微調方法的適配，使得低秩微調方法擴大到如Conv2D層， Embedding層，Linear層等各類常見層上。同時，作者發(fā)現通過調整不同的參數，FLoRA可以退化為多個不同的低秩微調方法。

適合N維張量的參數高效微調

當前LoRA類方法為什么會破壞結構

卷積具有局部學習的歸納偏置。若設置一個，，的卷積層，其參數形狀應該為[10，1，3，3]，后兩維[3，3]構成了一個具有正方形結構的濾波器。

在按照方式進行拆分過程中，既有permute的操作，也有reshape的操作，此時原本相鄰的濾波器被打散。這增加了可學習參數來建模出原本的局部特性的難度。

為什么LoRA不把參數拆成來避免破壞結構？

在卷積結構中，一層網絡的參數具有四個維度。

若按照方式將參數拆成對應LoRA中AB的形式，則應該為以及。

若按照方式將參數拆成對應LoRA中AB的形式，則應該為和。

前者參數量為，后者參數量為。

當時，分別為和，一般而言，>>，方式會引入超大量的參數。因此轉而使用后者是一種以結構完整性換參數量的折中。

Tucker分解實現N維張量的低秩微調

Tucker分解是一種矩陣分解方法。對于具有N維的張量， Tucker分解可以將其表示為一個核張量（Core Tensor）與沿著每一維度得到的矩陣的乘積，其中J_n為第n維的通道大小。可以寫為：

其中為模乘，表示一個張量（tensor）和一個矩陣（matrix）的乘法。

在Tucker分解中，核張量代表了不同維度之間的交互，而矩陣則類似于每一個維度的主成分。通過這種形式，依靠核張量去學習不同維度之間的關系，依靠各維度矩陣學習本維度的內在特性，可以在保留N維張量拓撲結構的基礎上更好的優(yōu)化學習過程。

基于以上對Tucker分解的介紹，作者便將這種分解方式引入到參數高效微調中。具體來說，相比于LoRA中

其中。

FLoRA將N維張量分解統(tǒng)一設計為:

其中為核張量，s為可調的scale系數，為第n維的低秩矩陣，這里的J_n就是低秩r，且J_n<<I_n。

對應于具有4個維度的卷積核參數，則有

其中，，以及。

r₃和r₄一般取相同的比卷積核大小k更小的值。根據上式，作者認為在卷積參數微調中具有一個卷積核心（Convolution Core），而FLoRA負責找到了這個核心的值并且配置了不同維度的權重值。與LoRA相比，在相近參數量上FLoRA允許設置更大的秩r，在同等秩的情況下，FLoRA大大降低了參數量。

舉例：若k=3,r₃=r₄=2, r₁=r₂=r=32, d_in=256, d_out=512，
FLoRA的參數量為：
LoRA的參數量為：
若FLoRA達到與LoRA相同的參數量，則r=70。

對應于具有2個維度的線性層參數，則有

，

其中，，。與4維的卷積核參數類比，這里的G便是對應的線性核心。

參考上邊的例子，同等r的情況下，FLoRA參數量為，相比LoRA僅多出% 的參數，對應該例子為4.17%。

在實際應用中，由于核張量的存在，等效的r₁，r₂可以小于LoRA的r，從而實現同等規(guī)模甚至更少的參數量情況下，效果與LoRA一致甚至更好。

在LoRA中，s的取值由r和另一超參r_alpha決定，通常固定s=2。

在FLoRA中，該值以超參形式設定為一個固定值，不需要引入r_alpha，本質上s代替了r_alpha，因此相比LoRA沒有引入額外數量的超參。

對于s的選取，作者在實驗過程中發(fā)現對于不同大小規(guī)模的參數量以及不同類型的模型（即不同維度的參數空間），取值不一，但呈現出了一定的特點。對于卷積模型來說，s的取值在一定范圍內越大越好，在以ConvNext-L為backbone來微調時設置為4；對于線性模型來說，s的取值盡量較小，在微調InternViT-6B和LLaVA-7B時，s的值設置為0.04。