本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

如何最大限度地提升模型精度？

最近，谷歌等機構發現：

性能不好的微調模型先不要扔，求一下平均權重！

就能在不增加推理時間以及內存開銷的情況下，提高模型的準確性和魯棒性。

比如，研究人員就使用該方法創造了ImageNet1K的新紀錄：90.94%。

將它擴展到多個圖像分類以及自然語言處理任務中，也能提高模型的分布外性能，并改善新下游任務的零樣本性能。

而這個方法還有一個有趣的名字，叫Module soup——

是不是讓人一下子就讓人聯想到了斐波那契湯的笑話？（昨天的湯+前天的湯=今天的新湯）

△ 知乎網友@hzwer，已授權

一共三種配方

回想一下在此之前，大家是如何給模型漲點的呢？

是不是先用各種超參數訓練出多個微調模型，然后再挑出驗證集上表現最好的那一個留下，其余丟掉？

由于神經網絡是非線性的，在不同的loss basin中可能有許多解，因此Module soup這一采用保留所有微調模型的權重，對其進行平均的方法就可以提高性能，還是讓人有點驚訝的。

不過，最近就已有研究發現，從相同的初始化配置中中獨立優化的微調模型，位于相同的誤差范圍內 （lie in the same basin of the error landscape）。

之前也有研究證明，沿單個訓練軌跡進行權重平均，可以提高隨機初始化訓練模型的性能。

作者正是從這些結論中受到啟發。

Module soup一共有三種“配方”（實現）：統一湯（uniform soup）、貪婪湯（greedy soup）和學習湯（learned soup）。

其中greedy soup是最主要采用的實現，因為它的性能比直接均勻地平均所有權重更高。

具體來說，Greedy soup通過順序添加每個模型作為“湯”中的潛在成分構建而成，并且只有在保持驗證集上的性能有所提高時才將相應模型保留在“湯”中。

排序按驗證集精度的降序排列。

性能超越單個最佳微調模型

作者進行了全面的微調實驗來確定Module soup的有效性。

首先是微調CLIP和ALIGN，這兩個模型在圖像-文本對上進行了對比損失預訓練。

結果經過module soup操作后，兩者在分布內和自然分布轉移（distribution shifts）測試集上的表現都比最佳的單個微調模型性能更佳。

△ 左為CLIP，右為ALIGN

然后是在JFT數據集上預訓練的ViT-G模型。

也就是它在ImageNet1K數據集實現了90.94%的精度，打破了此前CoAtNet保持的90.88%，同時在推理階段還減少了25%的FLOPs。

在圖像分類任務以外，作者在NLP領域也對module soup進行了驗證。

下表是BERT和T5模型在GLUE benchmark的四個文本分類任務上的結果：

可以發現，雖然改進不如圖像分類中的效果明顯，但在多數任務下，greedy soup都可以相較最好的單個模型提高性能。

當然，作者也指出，module soup在適用性等方面存在局限，比如現在測試的都是在大型異構數據集上預先訓練的模型，在這些模型之外，效果并不是非常明顯。

最后，知乎網友@宮醬手藝人表示，其實這樣的模型參數平均是一個經典trick，transformer原始論文就用了。

你發現了嗎？

論文地址：
?https://arxiv.org/abs/2203.0548