最近在看arxiv的時候發現了一個有意思的框架：LLM-Blender，它可以使用Ensemble 的方法來對大語言模型進行集成。

官方介紹如下：LLM-Blender是一個集成框架，可以通過利用多個開源大型語言模型(llm)的不同優勢來獲得始終如一的卓越性能。

LLM集成

我們都知道集成學習是一種機器學習方法，旨在提高預測模型的性能和魯棒性。它通過將多個不同的學習器（如決策樹、神經網絡等）結合成一個整體，來取得比單個學習器更好的預測效果。比如最常見的Kaggle比賽中就廣泛的使用了這種方法。

那么大語言模型有必要進行集成嗎

論文給出了以下觀點：

由于數據、架構和超參數的變化，LLM表現出不同的優勢和劣勢，使它們互補。并且目前不存在一個開源LLM在所有例子中都占主導地位?？梢约蒐LM的輸出(基于輸入、任務和領域)，以便在不同的示例中提供一致的卓越性能。結合他們獨特的貢獻;可以減輕個別LLM的偏差、誤差和不確定性，從而使產出與人類偏好保持一致。

LLM-Blender

所以論文就給出了一個框架LLM-Blender

LLM-Blender有兩個模塊:PairRanker和GenFuser。PairRanker比較多個模型的輸出，給出排名最高的輸出。然后GenFuser將前幾個排名靠前的輸出融合在一起，生成最終輸出。

1、PairRanker是如何工作的

PairRanker模塊用于有效地識別候選模型輸出之間的細微差異，并根據它們的質量對它們進行排名。收集N個模型的輸出，并以總共N(N-1)/2種方式進行配對(從總共N個項目中選擇2個項目的組合次數)。然后根據以下條件對結果進行評估:給定輸入提示，哪個候選人的輸出更好。

在推理過程中，計算一個包含表示兩兩比較結果的對數的矩陣。給定該矩陣確定并選擇排名前k的輸出用于GenFuser模塊。

2、GenFuser是如何工作的

GenFuser模塊使用PairRanker模塊排名靠前的輸出，為最終用戶生成潛在的改進輸出。該模塊融合了排名前n位的結果中的前K位，并產生了改進的輸出，利用他們的優勢和減輕他們的弱點。

基準測試

論文介紹了一個名為mixdirective的新數據集，用于對llm在指令跟隨任務中的集成模型進行基準測試。該數據集擁有來自Alpaca-GPT4、Dolly-15K、GPT4-ALL-LAION和ShareGPT的大規模指令示例集。有10萬例用于訓練，5萬例用于驗證，5萬例用于測試。

使用N = 11個流行的開源LLM進行測試。候選的輸出使用ChatGPT對所有候選對進行評估。對于每一對，ChatGPT被要求判斷那個是更好的。

可以看到各個LLM有不同的優勢和劣勢。頂尖的LLM在測試中并不總是最優的。PairRanker優于其他LLM。LLM-Blender組合比其他任何單個模型更好。

限制

最主要的還是效率，因為對PairRanker中top-K輸出進行排序的過程需要調用模型O(n2)次才能獲得最佳性能。解決這個問題的一種方法是使用多輪氣泡排序方法來減少所需的推斷數量。另一種提高時間效率的方法是并行執行PairRanker的推理，因為它們是獨立的，也就是多個模型同時推理。

目前論文使用的是在ChatGPT幫助下的自動評估。雖然自動評估是一個很好的選擇，但人工評價可以提供更可靠、更全面的評價結果。