2 月 4 日消息，亞馬遜云計算人工智能實驗室的研究人員發現，網絡上大量內容來自機器翻譯 (MT) 生成，這些跨越多種語言的翻譯內容質量普遍較低。研究團隊強調，這凸顯了在訓練大型語言模型 (LLM) 時，數據質量和來源考量的重要性。

研究還發現，機器生成內容在資源較少語言的翻譯中很普遍，并占網絡內容的很大一部分。

IT之家注意到，研究團隊開發了名為多維 cc 矩陣 (MWccMatrix) 的龐大資源，以更好地理解機器翻譯內容的特征。該資源包含 90 種語言中 64 億個獨特的句子，并包括翻譯元組，即相互翻譯的一組句子。

這項研究發現大量網絡內容通常被翻譯成多種語言，主要通過機器翻譯完成。這種內容不僅在資源較少語言的翻譯中普遍存在，而且在這些語言的所有網絡內容中也占很大一部分。

研究人員還注意到，出于廣告收入等目的，被翻譯成多種語言的內容存在選擇性偏差。

論文的結論是：“機器翻譯技術在過去十年里取得了顯著進步，但仍達不到人類質量水平。多年來，使用當時可用的機器翻譯系統將機器翻譯內容添加到網絡上，因此網絡上大部分機器翻譯內容按照現代標準可能質量很低。這可能會導致 LLM 模型產生更多‘幻覺’ ，而選擇偏差表明即使不考慮機器翻譯錯誤，數據質量也可能較低。數據質量對于 LLM 訓練至關重要，其中高質量的語料庫，如書籍和維基百科文章，通常會進行多次向上采樣?！?/p>