成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Meta AI 多語言閱讀理解數(shù)據(jù)集 Belebele,涵蓋 122 種語言變體

開發(fā) 前端
研究人員利用這個數(shù)據(jù)集評估了多語言屏蔽語言模型(MLM)和大語言模型(LLM)的能力。結(jié)果表明,盡管以英語為中心的 LLM 有顯著的跨語言遷移能力,但在平衡的多語言數(shù)據(jù)上經(jīng)過預(yù)訓(xùn)練的更小的 MLM 仍然能理解更多的語言。

Meta AI 宣布推出一款涵蓋 122 種語言變體的多語言閱讀理解數(shù)據(jù)集,名為 Belebele。“我們希望這項工作能夠引發(fā)圍繞 LLM 多語言性的新討論”。

BELEBELE 是首個跨語言并行數(shù)據(jù)集,可以直接比較所有語言的模型性能。該數(shù)據(jù)集涵蓋了 29 種腳本和 27 個語系中不同類型的高、中、低資源語言。此外,還有 7 種語言包含在兩種不同的腳本中,從而為印地語、烏爾都語、孟加拉語、尼泊爾語和僧伽羅語的羅馬化變體制定了首個 NLP 基準(zhǔn)。

該數(shù)據(jù)集可對單語和多語模型進行評估,但其并行性也可在一些跨語言環(huán)境中對跨語言文本表征進行評估。通過從相關(guān)質(zhì)量保證數(shù)據(jù)集中收集訓(xùn)練集,可以對任務(wù)進行全面微調(diào)評估。每個問題都基于 Flores-200 數(shù)據(jù)集中的一段短文,并有四個多項選擇答案。這些問題經(jīng)過精心設(shè)計,以區(qū)分具有不同一般語言理解水平的模型。

  • 每種語言有 900 道題
  • 488 個不同段落,每個段落有 1-2 道相關(guān)問題。
  • 每道題有 4 個選擇答案,其中只有一個是正確的。
  • 122 種語言 / 語言變體(包括英語)。
  • 900 x 122 = 109,800 個問題。

研究人員利用這個數(shù)據(jù)集評估了多語言屏蔽語言模型(MLM)和大語言模型(LLM)的能力。結(jié)果表明,盡管以英語為中心的 LLM 有顯著的跨語言遷移能力,但在平衡的多語言數(shù)據(jù)上經(jīng)過預(yù)訓(xùn)練的更小的 MLM 仍然能理解更多的語言。且詞匯量越大、越有意識地構(gòu)建詞匯,在低資源語言上的表現(xiàn)就越好。

責(zé)任編輯:武曉燕 來源: OSCHINA
相關(guān)推薦

2023-05-23 14:14:14

技術(shù)模型

2022-08-09 07:22:15

語言數(shù)據(jù)庫程序

2014-04-16 14:50:20

Spark

2024-11-25 15:30:00

語言模型數(shù)據(jù)

2021-08-09 10:03:03

數(shù)據(jù)開源語音

2011-08-05 17:54:33

Cocoa Touch 多語言

2012-04-19 11:40:21

Titanium

2014-07-09 09:20:06

WPFWPF應(yīng)用

2009-08-25 10:44:50

C#實現(xiàn)多語言

2023-08-04 10:18:15

2024-05-09 08:14:09

系統(tǒng)設(shè)計語言多語言

2019-10-10 09:00:00

谷歌數(shù)據(jù)技術(shù)

2021-09-07 10:17:35

iOS多語言適配設(shè)計

2021-06-29 21:48:32

開源語言架構(gòu)

2009-08-03 17:33:01

ASP.NET多語言支

2009-07-17 10:02:29

WPF程序多語言支持

2021-07-24 11:41:42

前端開發(fā)技術(shù)

2009-08-21 18:46:30

下載Server 20

2020-10-28 10:38:08

谷歌模型機器翻譯

2020-04-14 09:50:02

點贊
收藏

51CTO技術(shù)棧公眾號

主站蜘蛛池模板: 亚洲精品国产电影 | 国产高清一区二区三区 | 亚洲在线一区二区三区 | 久久久久一区 | 九色在线视频 | 中文字幕免费视频 | 国产精品区二区三区日本 | 成人免费福利视频 | 黄色视频a级毛片 | 国产欧美一区二区三区久久人妖 | 日韩av在线不卡 | 91久久北条麻妃一区二区三区 | 亚洲一区二区精品视频在线观看 | 中文视频在线 | 精品中文字幕一区 | 337p日本欧洲亚洲大胆 | 日韩国产高清在线观看 | 日本午夜视频 | 免费成人高清在线视频 | 亚洲欧美久久 | 欧美日韩国产高清 | 亚洲综合一区二区三区 | 精品国产精品三级精品av网址 | 欧美日韩国产欧美 | 国产欧美精品一区 | 日本黄色的视频 | 在线观看免费观看在线91 | 91大片 | 亚洲欧美在线观看 | 欧美黄视频 | 亚洲高清在线免费观看 | 欧美一区二区三区久久精品 | www.788.com色淫免费 | 亚洲区一区二 | 久久精品国产v日韩v亚洲 | 久久香焦| 欧美aa在线 | 国产乱码高清区二区三区在线 | 波多野结衣中文字幕一区二区三区 | 国产乱码久久久 | 欧美电影在线 |