Meta AI 宣布推出一款涵蓋 122 種語言變體的多語言閱讀理解數(shù)據(jù)集，名為 Belebele。“我們希望這項工作能夠引發(fā)圍繞 LLM 多語言性的新討論”。

BELEBELE 是首個跨語言并行數(shù)據(jù)集，可以直接比較所有語言的模型性能。該數(shù)據(jù)集涵蓋了 29 種腳本和 27 個語系中不同類型的高、中、低資源語言。此外，還有 7 種語言包含在兩種不同的腳本中，從而為印地語、烏爾都語、孟加拉語、尼泊爾語和僧伽羅語的羅馬化變體制定了首個 NLP 基準(zhǔn)。

該數(shù)據(jù)集可對單語和多語模型進行評估，但其并行性也可在一些跨語言環(huán)境中對跨語言文本表征進行評估。通過從相關(guān)質(zhì)量保證數(shù)據(jù)集中收集訓(xùn)練集，可以對任務(wù)進行全面微調(diào)評估。每個問題都基于 Flores-200 數(shù)據(jù)集中的一段短文，并有四個多項選擇答案。這些問題經(jīng)過精心設(shè)計，以區(qū)分具有不同一般語言理解水平的模型。

• 每種語言有 900 道題
• 488 個不同段落，每個段落有 1-2 道相關(guān)問題。
• 每道題有 4 個選擇答案，其中只有一個是正確的。
• 122 種語言 / 語言變體（包括英語）。
• 900 x 122 = 109,800 個問題。

研究人員利用這個數(shù)據(jù)集評估了多語言屏蔽語言模型（MLM）和大語言模型（LLM）的能力。結(jié)果表明，盡管以英語為中心的 LLM 有顯著的跨語言遷移能力，但在平衡的多語言數(shù)據(jù)上經(jīng)過預(yù)訓(xùn)練的更小的 MLM 仍然能理解更多的語言。且詞匯量越大、越有意識地構(gòu)建詞匯，在低資源語言上的表現(xiàn)就越好。