夕小瑤科技說 原創(chuàng)
 作者 | 賣萌醬最近幾天，我們公眾號(hào)的社群在紛紛轉(zhuǎn)發(fā)一張名為SuperClue 評測的截圖。科大訊飛甚至在官號(hào)進(jìn)行了宣傳：

由于訊飛星火大模型剛發(fā)布，筆者玩的少，它是不是真的是國產(chǎn)最強(qiáng)這個(gè)筆者不敢下結(jié)論。

但在該評測截圖中，當(dāng)下國產(chǎn)模型中熱度最高的百度文心一言竟然連一個(gè)小型的學(xué)術(shù)開源模型ChatGLM-6B都打不過。這不僅與筆者自己的使用體驗(yàn)嚴(yán)重不符，而且在我們的專業(yè)NLP技術(shù)社群中，大家也紛紛表示一臉懵逼：

好奇之下，筆者去這個(gè)superclue榜單的github，想看看這個(gè)測評結(jié)論是怎么得出來的：https://github.com/CLUEbenchmark/SuperCLUE

首先筆者注意到這個(gè)repo下面已經(jīng)有一些issue了：

看起來這個(gè)離譜的感覺不僅僅是筆者有，果然群眾的眼睛還是雪亮的。。。

筆者進(jìn)一步看了一下這個(gè)榜單的評測方式：

好家伙，原來所謂的生成式大模型的測試，竟然全都是讓模型做選擇題。。。

很明顯這種做選擇題的評測方式是針對BERT時(shí)代的判別式AI模型的，那時(shí)候的AI模型普遍不具備生成能力，僅僅有判別能力（比如能判別一段文本屬于什么類別，選項(xiàng)中哪個(gè)是問題的正確答案，判斷兩段文本的語義是否一致等）。

而生成式模型的評測與判別式模型的評測有相當(dāng)于大的差異。

例如，對于機(jī)器翻譯這種特殊的生成任務(wù)而言，一般采用BLEU等評價(jià)指標(biāo)來檢測模型生成的回復(fù)與參考回復(fù)之間的“詞匯、短語覆蓋度”。但機(jī)器翻譯這種有參考回復(fù)的生成類任務(wù)是極少數(shù)，絕大多數(shù)的生成類評測都要采用人工評測的方式。

例如閑聊式對話生成、文本風(fēng)格遷移、篇章生成、標(biāo)題生成、文本摘要等生成任務(wù)，都需要各個(gè)待評測模型去自由生成回復(fù)，然后人工去對比這些不同模型生成的回復(fù)的質(zhì)量，或人工判斷是否滿足了任務(wù)需求。

當(dāng)前這一輪的AI競爭，是模型生成能力的競爭，而不是模型判別能力的競爭。最有評價(jià)權(quán)的是真實(shí)的用戶口碑，不再是一個(gè)個(gè)冰冷的學(xué)術(shù)榜單。更何況是一個(gè)壓根沒測模型生成能力的榜單。

回想起來前些年——

2019年，OpenAI發(fā)布了GPT-2的時(shí)候，我們在堆tricks刷榜；

2020年，OpenAI發(fā)布了GPT-3的時(shí)候，我們在堆tricks刷榜；

2021-2022年，F(xiàn)LAN、T0、InstructGPT等instruction tuning和RLHF工作爆發(fā)的時(shí)候，我們還有不少團(tuán)隊(duì)在堅(jiān)持堆tricks刷榜…

希望這一波生成式模型的軍備競賽，我們不要再重蹈覆轍。

那么生成式AI模型到底應(yīng)該怎么測？

很抱歉，我前面說過，如果想做到無偏測試，非常非常的難，甚至比你自研一個(gè)生成式模型出來難得多。難度有哪些？具體拋幾個(gè)問題：

• 評測維度該如何劃分？按理解、記憶、推理、表達(dá)？按專業(yè)領(lǐng)域？還是將傳統(tǒng)的NLP生成式評測任務(wù)雜揉起來？
• 評測人員如何培訓(xùn)？對于寫代碼、debug、數(shù)學(xué)推導(dǎo)、金融法律醫(yī)療問答這種專業(yè)門檻極高的測試題，該如何招募人員測試？
• 主觀性極高的測試題（如生成小紅書風(fēng)格的文案），該如何定義評測標(biāo)準(zhǔn)？
• 問幾個(gè)泛泛的寫作類問題就能代表一個(gè)模型的文本生成/寫作能力了嗎？
• 考察模型的文本生成子能力，篇章生成、問答生成、翻譯、摘要、風(fēng)格遷移都覆蓋到了嗎？各個(gè)任務(wù)的占比均勻嗎？評判標(biāo)準(zhǔn)都清晰嗎？統(tǒng)計(jì)顯著嗎？
• 在上面的問答生成子任務(wù)里，科學(xué)、醫(yī)療、汽車、母嬰、金融、工程、政治、軍事、娛樂等各個(gè)垂類都覆蓋到了嗎？占比均勻嗎？
• 如何測評對話能力？對話的一致性、多樣性、話題深度、人格化分別怎么設(shè)計(jì)的考察任務(wù)？
• 對于同一項(xiàng)能力測試，簡單問題、中等難度問題和復(fù)雜長冷問題都覆蓋到了嗎？如何界定？分別占比多少？

這只是隨手拋的幾個(gè)要解決的基礎(chǔ)問題，在實(shí)際基準(zhǔn)設(shè)計(jì)的過程中，要面臨大量比以上問題棘手得多的問題。

因此，作為AI從業(yè)者，筆者呼吁大家理性看待各類AI模型排名。連一個(gè)無偏的測試基準(zhǔn)都沒有出現(xiàn)，要這排名有何用？

還是那句話，一個(gè)生成式模型好不好，真實(shí)用戶說了算。

一個(gè)模型在一個(gè)榜單的排名再高，它解決不好你在意的問題，它對你來說就是個(gè)一般般的模型。換言之，一個(gè)排名倒數(shù)的模型，如果在你關(guān)注的場景下發(fā)現(xiàn)非常強(qiáng)，那它對你來說就是個(gè)寶藏模型。

在此，筆者公開了我們團(tuán)隊(duì)內(nèi)部富集和撰寫的一個(gè)hard case（困難樣例）測試集。這份測試集重點(diǎn)關(guān)注模型對困難問題/指令的解決能力。

這個(gè)困難測試集重點(diǎn)考察了模型的語言理解、復(fù)雜指令理解與遵循、文本生成、復(fù)雜內(nèi)容生成、多輪對話、矛盾檢測、常識(shí)推理、數(shù)學(xué)推理、反事實(shí)推理、危害信息識(shí)別、法律倫理意識(shí)、中國文學(xué)知識(shí)、跨語言能力和代碼能力等。

再次強(qiáng)調(diào)一遍，這是筆者團(tuán)隊(duì)為測試生成式模型對困難樣例解決能力而做的一個(gè)case集，評測結(jié)果只能代表“對筆者團(tuán)隊(duì)而言，哪個(gè)模型感覺更好”，遠(yuǎn)遠(yuǎn)不能代表一個(gè)無偏的測試結(jié)論，如果想要無偏的測試結(jié)論，請先解答以上提到的測評問題，再去定義權(quán)威測試基準(zhǔn)。

想要自己評測驗(yàn)證的小伙伴，可以在本公眾號(hào)“夕小瑤科技說”后臺(tái)回復(fù)【AI評測】口令來下載測試文件

以下是在superclue榜單中受爭議最大的訊飛星火、文心一言與ChatGPT這三個(gè)模型的測評結(jié)果：

困難Case解決率：

• ChatGPT（GPT-3.5-turbo）：11/24=45.83%
• 文心一言（2023.5.10版本）：13/24=54.16%
• 訊飛星火（2023.5.10版本）：7/24=29.16%

這是要論證訊飛星火不如文心一言嗎？如果你仔細(xì)看前文了，就明白筆者想說什么。

確實(shí)，盡管在這份我們內(nèi)部的困難case集上，星火模型不如文心一言，但這不能說明綜合起來誰一定比誰強(qiáng)，僅僅說明，在我們團(tuán)隊(duì)內(nèi)部的困難case測試集上，文心一言表現(xiàn)最強(qiáng)，甚至比ChatGPT多解決了2個(gè)困難case。

對于簡單問題而言，其實(shí)國產(chǎn)模型跟ChatGPT已經(jīng)沒有太大差距。而對于困難問題而言，各個(gè)模型各有所長。就筆者團(tuán)隊(duì)的綜合使用體驗(yàn)來看，文心一言完全足以吊打ChatGLM-6B等學(xué)術(shù)測試性質(zhì)的開源模型，部分能力上不如ChatGPT，部分能力上又超越了ChatGPT。

阿里通義千問、訊飛星火等其他大廠出品的國產(chǎn)模型也是相同的道理。

還是那句話，如今連一個(gè)無偏的測試基準(zhǔn)都沒出現(xiàn)，你要那模型排名有啥用？

比起爭論各類有偏的榜單排名，不如像筆者團(tuán)隊(duì)一樣去做一個(gè)自己關(guān)心的測試集。

能解決你問題的模型，就是好模型。