最近，業(yè)內(nèi)眾多大模型基準(zhǔn)又迎來(lái)了一輪 “實(shí)力值” 更新。

繼 11 月初零一萬(wàn)物發(fā)布 Yi-34B 基座模型后，Yi-34B-Chat 微調(diào)模型在 11 月 24 日開(kāi)源上線 ，短時(shí)間登陸了全球多個(gè)英文、中文大模型權(quán)威榜單，再度獲得了全球開(kāi)發(fā)者的關(guān)注。

其中，在斯坦福大學(xué)提出的大語(yǔ)言模型評(píng)測(cè)基準(zhǔn) AlpacaEval 上，Yi-34B-Chat 以 94.08% 的勝率，超越 LLaMA2 Chat 70B、Claude 2、ChatGPT，在 Alpaca 經(jīng)認(rèn)證的模型類(lèi)別中，成為業(yè)內(nèi)僅次于 GPT-4 英語(yǔ)能力的大語(yǔ)言模型，并且是經(jīng)由 Alpaca 官方認(rèn)證為數(shù)不多的開(kāi)源模型。

AlpacaEval Leaderboard 排行榜（發(fā)布于 2023 年 12 月 7 日）

與此同時(shí)，在加州大學(xué)伯克利分校主導(dǎo)的 LMSYS ORG 排行榜中，Yi-34B-Chat 也以 1102 的 Elo 評(píng)分晉升最新開(kāi)源 SOTA 開(kāi)源模型之列，性能表現(xiàn)追平 GPT-3.5。

在各類(lèi)大模型評(píng)測(cè)中，伯克利 LMSYS ORG 較為特殊，其采用了較為接近用戶體感的 “聊天機(jī)器人競(jìng)技場(chǎng)” 測(cè)評(píng)模式，讓眾多大語(yǔ)言模型在評(píng)測(cè)平臺(tái)隨機(jī)進(jìn)行一對(duì)一 battle，通過(guò)眾籌真實(shí)用戶來(lái)進(jìn)行線上實(shí)時(shí)盲測(cè)和匿名投票，11 月份經(jīng) 2.5 萬(wàn)真實(shí)用戶投票總數(shù)計(jì)算了 20 個(gè)大模型的總得分。Elo 評(píng)分越高，說(shuō)明模型在真實(shí)用戶體驗(yàn)上的表現(xiàn)越出色，可說(shuō)是眾多大模型評(píng)測(cè)集中最能展現(xiàn) “Moment of Truth 真實(shí)關(guān)鍵一刻” 的用戶導(dǎo)向體驗(yàn)對(duì)決。

在開(kāi)源模型中，Yi-34B-Chat 英語(yǔ)能力達(dá)到了較高水準(zhǔn)，LMSYS ORG 在 12 月 8 日官宣 11 月份總排行時(shí)評(píng)價(jià)：“Yi-34B-Chat 和 Tulu-2-DPO-70B 在開(kāi)源界的進(jìn)擊表現(xiàn)已經(jīng)追平 GPT-3.5。”

LMSYS ORG 榜單（發(fā)布于 2023 年 12 月 8 日） 

中文能力方面，Yi-34B-Chat 微調(diào)模型同樣有了進(jìn)步。

SuperCLUE 是一項(xiàng)針對(duì)中文能力的排行榜，從基礎(chǔ)能力、專(zhuān)業(yè)能力和中文特性能力三個(gè)不同的維度，評(píng)估模型的能力。根據(jù) 11 月底發(fā)布的《SuperCLUE 中文大模型基準(zhǔn)評(píng)測(cè)報(bào)告 2023》，11 月下旬首度發(fā)布的 Yi-34B Chat，晉升到了和諸多國(guó)產(chǎn)優(yōu)秀大模型齊平的 “卓越領(lǐng)導(dǎo)者” 象限，在多項(xiàng)基準(zhǔn)評(píng)測(cè)中的 “SuperCLUE 大模型對(duì)戰(zhàn)勝率” 這項(xiàng)關(guān)鍵指標(biāo)上，Yi-34B-Chat 取得 31.82% 的勝率，僅次于 GPT4-Turbo。

中文 SuperCLUE 排行榜（發(fā)布于 2023 年 11 月 28 日）

面向開(kāi)發(fā)者，Yi-34B-Chat 微調(diào)模型提供了 4bit/8bit 量化版模型，其中 Yi-34B-Chat 4bit 量化版模型可以直接在 RTX 3090 等消費(fèi)級(jí)顯卡上使用。

Yi-34B-Chat 在不同對(duì)話場(chǎng)景中表現(xiàn)如何？來(lái)看幾個(gè)更直觀的問(wèn)題演示：

【知識(shí)與生成】：Transformer 模型結(jié)構(gòu)能不能走向 AGI ?

【創(chuàng)意文案】：給我生成一個(gè)小紅書(shū)文案，給大家安利一只豆沙色的口紅。

【中文理解】：小王給領(lǐng)導(dǎo)送了一份禮物后。領(lǐng)導(dǎo)說(shuō)：“小王，你這是什么意思？” 小王：“一點(diǎn)心意，意思意思。” 領(lǐng)導(dǎo)：“你這就不夠意思了。” 小王：“小意思，小意思。” 領(lǐng)導(dǎo)：“小王，你這人真有意思。” 小王：“也沒(méi)什么別的意思。” 領(lǐng)導(dǎo)：“那我多不好意思。” 小王：“是我不好意思。” 這個(gè)意思到底是什么意思？

據(jù)零一萬(wàn)物介紹，目前 Yi-34B-Chat 模型實(shí)現(xiàn)的能力，除了要?dú)w功于 Yi 系列強(qiáng)基座的貢獻(xiàn)以外，還得益于其人工智能對(duì)齊（AI Alignment）等技術(shù)。研究團(tuán)隊(duì)采用了一系列創(chuàng)新對(duì)齊策略，通過(guò)精心設(shè)計(jì)的指令微調(diào)流程，不僅強(qiáng)化了模型在理解和適應(yīng)人類(lèi)需求方面的能力，還使得模型與人類(lèi)價(jià)值觀對(duì)齊，包括幫助性（Helpful），可靠性（Honest），無(wú)害性（Harmless）等。

在強(qiáng)基座設(shè)定下，該團(tuán)隊(duì)采用了一種輕量化指令微調(diào)方案，該方案涵蓋了單項(xiàng)能力提升和多項(xiàng)能力融合兩個(gè)階段。

其中，單項(xiàng)能力包括通用指令跟隨、創(chuàng)意內(nèi)容生成、數(shù)學(xué)、推理、編程、泛 COT、對(duì)話交互等。通過(guò)大量的消融實(shí)驗(yàn)，針對(duì)模型單能力構(gòu)建和多能力融合總結(jié)了獨(dú)家認(rèn)知經(jīng)驗(yàn)。

在數(shù)據(jù)的量和質(zhì)方面，一方面，研究團(tuán)隊(duì)在強(qiáng)基座模型上，實(shí)現(xiàn)僅需要少量數(shù)據(jù)（幾條到幾百條），就能激發(fā)模型特定單項(xiàng)能力；另一方面，數(shù)據(jù)質(zhì)量比數(shù)量重要，少量高質(zhì)量數(shù)據(jù)比大量低質(zhì)量數(shù)據(jù)更好。通過(guò)關(guān)注超出模型能力的 “低質(zhì)量” 數(shù)據(jù)，減少了模型 “幻覺(jué)”。

在指令多樣性與難度方面，研究團(tuán)隊(duì)通過(guò)在各能力項(xiàng)下構(gòu)建任務(wù)體系，實(shí)現(xiàn)了訓(xùn)練數(shù)據(jù)中的指令均衡分布，大幅提升了模型泛化性。通過(guò)復(fù)合指令構(gòu)造和指令難度進(jìn)化，不僅提升了模型效果，也顯著降低了對(duì)數(shù)據(jù)量的需求。

在風(fēng)格一致性方面，研究團(tuán)隊(duì)發(fā)現(xiàn)訓(xùn)練數(shù)據(jù)的風(fēng)格會(huì)影響模型收斂速度和能力上限的逼近程度，因此統(tǒng)一了回復(fù)風(fēng)格，比如重點(diǎn)設(shè)計(jì)了 CoT 的回復(fù)風(fēng)格，實(shí)現(xiàn)在輕量 SFT 情況下，避免了風(fēng)格不一致加劇模型的 “記憶” 現(xiàn)象。

在多能力融合階段，研究團(tuán)隊(duì)采用網(wǎng)格搜索的方法來(lái)決定數(shù)據(jù)配比和超參數(shù)的設(shè)置，通過(guò)基準(zhǔn)測(cè)試和自建評(píng)測(cè)集的結(jié)果來(lái)指導(dǎo)搜索過(guò)程，成功實(shí)現(xiàn)模型的多能力融合。

為促進(jìn)大語(yǔ)言模型的生態(tài)發(fā)展，零一萬(wàn)物宣布，邀請(qǐng)全球開(kāi)發(fā)者共同測(cè)試使用 Yi-34B-Chat 模型能力，一起搭建 Yi 開(kāi)源模型的應(yīng)用生態(tài)體系。

Yi 模型開(kāi)源滿月，創(chuàng)新生態(tài)逐漸豐富

Yi 模型開(kāi)源首月，在 Hugging Face 社區(qū)下載量已達(dá) 16.8 萬(wàn)，魔搭社區(qū)下載量 1.2 萬(wàn)，此外在 GitHub 獲得了超過(guò) 4900 個(gè) Stars。

多家知名公司和機(jī)構(gòu)推出了基于 Yi 模型基座的微調(diào)模型，如獵豹旗下的獵戶星空公司推出的 OrionStar-Yi-34B-Chat 模型，南方科技大學(xué)和粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院（簡(jiǎn)稱(chēng) IDEA 研究院）認(rèn)知計(jì)算與自然語(yǔ)言研究中心（簡(jiǎn)稱(chēng) CCNL 中心）聯(lián)合發(fā)布的 SUS-Chat-34B 等。而 AMD 和 Hugging Face 合作的 GPU 加速大模型的實(shí)驗(yàn)中，也選擇了 Yi-6B 作為范例項(xiàng)目。

知名技術(shù)寫(xiě)作者蘇洋表示，在他觀察的近期 Hugging Face 榜單中，前三十名有一半多都是 Yi 和其他用戶微調(diào)的 Yi-34B 的變體模型，原本占據(jù)榜單頭部的 68B 和 70B 模型的數(shù)量目前只留有幾個(gè)，“從這點(diǎn)看 Yi 對(duì)于開(kāi)源生態(tài)的幫助還是非常巨大的。”

Eric Hartford：成為 Yi-34B 的忠實(shí)擁躉

Eric Hartford，Hugging Face 社區(qū)開(kāi)發(fā)者

Yi-34B 開(kāi)源發(fā)布后，開(kāi)發(fā)者 Eric Hartford 發(fā)現(xiàn)了模型存在的一個(gè)小問(wèn)題。

他在郵件中寫(xiě)道，“感謝你們提供了一個(gè)優(yōu)秀的模型。Yi 模型使用了與 LLaMA 模型完全相同的架構(gòu)，只是將兩個(gè)張量改了名字。由于圍繞 LLaMA 架構(gòu)有很多投資和工具，保持張量名稱(chēng)的一致性是有價(jià)值的。”Eric 建議，在 Yi 被廣泛傳播前，及時(shí)恢復(fù)張量名稱(chēng)。

零一萬(wàn)物意識(shí)到命名問(wèn)題的疏忽對(duì)開(kāi)發(fā)者造成的不便，跟 Eric 和其他開(kāi)發(fā)者提出說(shuō)明，表達(dá)誠(chéng)摯的歉意，并很快便在各開(kāi)源平臺(tái)重新提交模型及代碼，完成了開(kāi)源社區(qū)的版本更新。

然而 Eric 沒(méi)有料想到，他的建議在國(guó)內(nèi)引發(fā)了輿論關(guān)于 Yi 模型 “抄襲” LLaMA 的質(zhì)疑。 

在大模型領(lǐng)域，技術(shù)架構(gòu)、微調(diào)和數(shù)據(jù)同等重要。在沿用了開(kāi)源社區(qū)普遍使用的 LLaMA 架構(gòu)之上，零一萬(wàn)物團(tuán)隊(duì)用高質(zhì)量的數(shù)據(jù)集、自研訓(xùn)練科學(xué)和 AI Infra 打造了 Yi-34B 在內(nèi)的系列模型。零一萬(wàn)物表示，為了執(zhí)行對(duì)比實(shí)驗(yàn)的需要，對(duì)部分推理參數(shù)進(jìn)行了重新命名。原始出發(fā)點(diǎn)是為了充分測(cè)試模型，而非刻意隱瞞來(lái)源。 

面對(duì)新出現(xiàn)的輿論，Eric 自發(fā)為 Yi 進(jìn)行了辯護(hù)。

他在 X（twitter）上寫(xiě)道，“他們沒(méi)有在任何事情上撒謊。所有的模型都是在相互借鑒架構(gòu)。架構(gòu)是學(xué)術(shù)研究的產(chǎn)物，已經(jīng)發(fā)表在論文中，任何人都可以自由使用，這絲毫不減損 Yi 團(tuán)隊(duì)的成就。他們從零開(kāi)始使用自己創(chuàng)建的數(shù)據(jù)集訓(xùn)練 Yi，對(duì)開(kāi)源領(lǐng)域的貢獻(xiàn)是值得贊揚(yáng)的。”

他又表示，“使用 Llama 架構(gòu)沒(méi)有任何問(wèn)題。訓(xùn)練才是關(guān)鍵。Yi 給了我們目前可獲得的最佳模型，沒(méi)有任何可抱怨的。”

蘇洋：Yi-34B 在很多細(xì)分場(chǎng)景可替換 GPT-3.5

蘇洋，數(shù)字化創(chuàng)業(yè)者，開(kāi)發(fā)者，技術(shù)寫(xiě)作者

蘇洋表示，他已嘗試使用個(gè)人的機(jī)器學(xué)習(xí)主機(jī)，在純 CPU 環(huán)境、CPU & GPU 混合環(huán)境下對(duì) Yi-34B 模型進(jìn)行了測(cè)試，結(jié)果比想象中要好。

其中社區(qū) finetune 后的版本，在對(duì)新聞、研究報(bào)告的摘要總結(jié)方面，對(duì)非結(jié)構(gòu)化的信息中的實(shí)體識(shí)別和抽取上表現(xiàn)非常不錯(cuò)。另外早期在官方還未推出 Chat 版本時(shí)，來(lái)自社區(qū)的 Chat 版本在對(duì)話的過(guò)程中，通史類(lèi)的問(wèn)答表現(xiàn)也非常不錯(cuò)。當(dāng)然，可能是由于零一在訓(xùn)練過(guò)程中，出于安全考慮，過(guò)濾太多語(yǔ)料的緣故，一些本土化的內(nèi)容仍然不夠深入。

目前，在 Hugging Face 的榜單上，前三十名有一半多都是 Yi 和其他用戶微調(diào)的 Yi-34B 的變體模型，原本占據(jù)榜單頭部的 68B 和 70B 模型的數(shù)量目前只留有幾個(gè)，從這點(diǎn)看 Yi 對(duì)于開(kāi)源生態(tài)的幫助還是非常巨大的。

與 68 和 70B 模型相比，34B 普通用戶努努力還是能自己相對(duì)低成本跑起來(lái)的，同時(shí)成績(jī)相較差異不多。換言之，企業(yè)想部署使用，所需要的成本也可以得到非常大的節(jié)約。

目前國(guó)產(chǎn)大模型在開(kāi)源榜單上已經(jīng)是第一梯隊(duì)，但如果把競(jìng)爭(zhēng)范圍追加到閉源模型、尤其是海外的模型，仍有很大的距離要去追趕。目前的普遍體驗(yàn)是開(kāi)源模型最多只有 GPT-3.5 + 的水平。

蘇洋認(rèn)為，相信國(guó)產(chǎn)大模型是能夠很快追趕至第一梯隊(duì)的。

只要底子好，堅(jiān)持使用開(kāi)源的正確路線和方法，做好本地化適配和調(diào)優(yōu)，就有希望。

Yi 模型地址：

• https://huggingface.co/01-ai/
• https://www.modelscope.cn/organization/01ai