最好7B模型再易主！打敗700億LLaMA2，蘋果電腦就能跑

作者：西風(fēng) 2023-10-29 22:41:29

人工智能新聞

H4團(tuán)隊推出二代Zephyr-7B-beta。他們補充道，探索了從GPT-4、Claude 2中提取對齊性，然后將其注入小模型中的想法，開發(fā)出了將蒸餾直接偏好優(yōu)化（dDPO）用于小模型的方法。

花500刀“調(diào)教”的70億參數(shù)模型，打敗700億參數(shù)的Llama 2！

且筆記本就能輕松跑，效果媲美ChatGPT。

重點：免費、不要錢。

HuggingFace H4團(tuán)隊打造的開源模型Zephyr-7B，鯊瘋了。

其底層模型是前段時間爆火、由有著“歐洲OpenAI”之稱的Mistral AI打造的開源大模型Mistral-7B。

要知道，Mistral-7B發(fā)布不到2周，各種微調(diào)版本相繼現(xiàn)世，大有Llama剛發(fā)布時迅速出現(xiàn)各種“羊駝”之風(fēng)。

而Zephyr能夠在各變種中脫穎而出，關(guān)鍵是團(tuán)隊在Mistral的基礎(chǔ)上，使用直接偏好優(yōu)化（DPO）在公開數(shù)據(jù)集上微調(diào)了模型。

團(tuán)隊還發(fā)現(xiàn)，刪除數(shù)據(jù)集的內(nèi)置對齊，可以進(jìn)一步提高M(jìn)T Bench性能。初代Zephyr-7B-alpha的MT-Bench平均得分7.09 ，超越Llama2-70B-Chat。

△MT-Bench是評估模型處理多輪對話能力的基準(zhǔn)測試，問題集涵蓋寫作、角色扮演、提取等8個類別。

關(guān)鍵是，它接著又升級了！

H4團(tuán)隊推出二代Zephyr-7B-beta。他們補充道，探索了從GPT-4、Claude 2中提取對齊性，然后將其注入小模型中的想法，開發(fā)出了將蒸餾直接偏好優(yōu)化（dDPO）用于小模型的方法。

二代Zephyr，MT-Bench平均得分升高至7.34。

在AlpacaEval上，Zephyr勝率為90.6%，優(yōu)于ChatGPT（3.5）：

趕來的網(wǎng)友們對Zephyr給予了一致好評，lmsys團(tuán)隊還亮出了Zephyr-7b-beta的Elo評分，目前已飆升得很高??：

內(nèi)部的Arena排行榜上已超過13B模型。

甚至有人表示：

在實際應(yīng)用中看到DPO方法表現(xiàn)很好，可能是今年大語言模型發(fā)展中最令人興奮的事情。

更多網(wǎng)友紛紛上手測試Zephyr效果，結(jié)果都出奇的好。

Mistral這個單詞在法語里代表一種干燥、寒冷且強勁的風(fēng)，而Zephyr意思則是溫和、宜人的西風(fēng)。

Llama那邊是動物園，這邊是氣象局無疑了。

最好的7B模型再易主

先來說運行Zephyr對電腦配置的要求。網(wǎng)友實測后表示“泰褲辣”！，筆記本（Apple M1 Pro）就夠用，“結(jié)果非常好”。

效果方面，Llama Index（此前名為GPT Index）團(tuán)隊也進(jìn)行了測試。

結(jié)果發(fā)現(xiàn)，Zephyr是目前唯一一個在高級RAG/agentic任務(wù)上表現(xiàn)良好的開源7B模型。

數(shù)據(jù)也顯示，Zephyr高級RAG任務(wù)效果可以和GPT-3.5、Claude 2相抗衡。

他們還繼續(xù)補充道，Zephyr不僅在RAG上效果突出，而且在路由、查詢規(guī)劃、檢索復(fù)雜SQL語句、結(jié)構(gòu)化數(shù)據(jù)提取方面也表現(xiàn)良好。

官方也給出了測試結(jié)果，在MT-Bench上，Zephyr-7B-beta與Llama2-Chat-70B等較大的模型相比具有強大的性能。

但在編碼和數(shù)學(xué)等更復(fù)雜的任務(wù)上，Zephyr-7B-beta落后于專有模型，需要更多的研究來縮小差距。

舍棄強化學(xué)習(xí)

大家都在紛紛測試Zephyr的效果，開發(fā)人員卻表示，最有趣的不是各項指標(biāo)，而是模型的訓(xùn)練方式。

亮點總結(jié)如下：

微調(diào)最好的小型開源預(yù)訓(xùn)練模型：Mistral 7B
大規(guī)模偏好數(shù)據(jù)集的用法：UltraFeedback
不用強化學(xué)習(xí)，使用直接偏好優(yōu)化（DPO）
意料之外的是，偏好數(shù)據(jù)集的過擬合會產(chǎn)生更好的效果

展開來說，正如開頭所提到的，Zephyr的效果之所以能夠超越70B的Llama 2，主要是因為使用了特殊的微調(diào)方法。

與傳統(tǒng)的PPO強化學(xué)習(xí)方法不同，研究團(tuán)隊使用了斯坦福大學(xué)和CZ Biohub不久前合作提出DPO方法。

研究人員表示：

DPO要比PPO穩(wěn)定得多。

DPO簡單來講可以這樣解釋：

要想使模型的輸出更加符合人類偏好，一直以來傳統(tǒng)方法是用一個獎勵模型來微調(diào)目標(biāo)模型。輸出得好給獎勵，輸出不好不給獎勵。

而DPO的方法繞過了建模獎勵函數(shù)，相當(dāng)于直接在偏好數(shù)據(jù)上優(yōu)化模型。

總的來說，DPO解決了人類反饋的強化學(xué)習(xí)訓(xùn)練難、訓(xùn)練成本高的問題。

具體到Zephyr的訓(xùn)練上，研究團(tuán)隊最初是在UltraChat數(shù)據(jù)集精簡后的變種上對Zephyr-7B-alpha進(jìn)行了微調(diào)，這個數(shù)據(jù)集包含了ChatGPT生成的160萬個對話（精簡后剩下約20萬個）。

（之所以要精簡過濾，是因為團(tuán)隊發(fā)現(xiàn)Zephyr有時大小寫寫不對，比如“Hi. how are you?”；有時會以“I don’t have personal X”為開頭進(jìn)行回應(yīng)。）

之后，他們又通過TRL的DPO Trainer方法，用公開的openbmb/UltraFeedback數(shù)據(jù)集進(jìn)一步對齊了該模型。

數(shù)據(jù)集中包含了64000個來自各種模型的提示-響應(yīng)對。每個響應(yīng)都由GPT-4根據(jù)有用性等標(biāo)準(zhǔn)進(jìn)行排名，并賦予一個得分，從中推出AI偏好。

一個有趣的發(fā)現(xiàn)是，在用DPO的方法時，隨著訓(xùn)練時間增加，過擬合后，效果居然更好了。研究人員認(rèn)為這類似于SFT中的過擬合。

值得一提的是，研究團(tuán)隊還介紹，用這種方法微調(diào)模型，成本只需500美元，也就是在16個A100上跑8小時。

在升級Zephyr為beta版本時，團(tuán)隊又繼續(xù)解釋了他們的方法。

他們思考了大模型所用的蒸餾監(jiān)督微調(diào)（dSFT），但用這種方法模型是不對齊的，不能很好地生成符合用戶意圖的輸出。

所以團(tuán)隊嘗試使用來自AI反饋（AI Feedback，AIF）的偏好數(shù)據(jù)，用一個“教師模型”對輸出進(jìn)行排名，形成一個數(shù)據(jù)集，然后應(yīng)用蒸餾直接偏好優(yōu)化（dDPO）來訓(xùn)練一個與用戶意圖對齊的模型，且在微調(diào)期間不需要任何額外的抽樣。

研究人員還測試了不用SFT時的效果，結(jié)果性能大大降低，說明dSFT步驟至關(guān)重要。