IT之家 1 月 15 日消息，谷歌研究院日前使用自家 BIG-Bench 基準(zhǔn)測(cè)試建立了一項(xiàng)“BIG-Bench Mistake”數(shù)據(jù)集，并利用相關(guān)數(shù)據(jù)集對(duì)市面上流行的語(yǔ)言模型“出錯(cuò)概率”及“糾錯(cuò)能力”進(jìn)行了一系列評(píng)估研究。

谷歌研究人員表示，由于過去沒有能夠評(píng)估大語(yǔ)言模型“出錯(cuò)概率”及“自我糾錯(cuò)能力”的數(shù)據(jù)集，因此他們創(chuàng)建了一項(xiàng)名為“BIG-Bench Mistake”的專用基準(zhǔn)數(shù)據(jù)集用于評(píng)估測(cè)試。

據(jù)悉，研究人員首先使用 PaLM 語(yǔ)言模型在自家 BIG-Bench 基準(zhǔn)測(cè)試任務(wù)中運(yùn)行了 5 項(xiàng)任務(wù)，之后將生成的“思維鏈（Chain-of-Thought）”軌跡修改加入“邏輯錯(cuò)誤”部分，之后重新丟給模型判斷思維鏈軌跡中哪些地方存在錯(cuò)誤。

為了提升數(shù)據(jù)集準(zhǔn)確程度，谷歌研究人員反復(fù)進(jìn)行上述過程，最終形成了一項(xiàng)內(nèi)含“255 項(xiàng)邏輯錯(cuò)誤”的“BIG-Bench Mistake”專用基準(zhǔn)數(shù)據(jù)集。

研究人員提到，由于“BIG-Bench Mistake”數(shù)據(jù)集中的邏輯錯(cuò)誤較為“簡(jiǎn)單明確”，因此可以作為一個(gè)良好的測(cè)試標(biāo)準(zhǔn)，可協(xié)助語(yǔ)言模型先從簡(jiǎn)單的邏輯錯(cuò)誤開始練習(xí)，逐步提升辨識(shí)錯(cuò)誤的能力。

研究人員利用該數(shù)據(jù)集對(duì)市面上模型進(jìn)行測(cè)試，發(fā)現(xiàn)雖然絕大多數(shù)語(yǔ)言模型可以識(shí)別在推理過程中出現(xiàn)的邏輯錯(cuò)誤并進(jìn)行自我修正，但這個(gè)過程“并不夠理想”，通常需要人工干預(yù)來糾正模型輸出的內(nèi)容。

▲ 圖源 谷歌研究院新聞稿

IT之家從報(bào)告中發(fā)現(xiàn)，谷歌聲稱“目前最先進(jìn)的大語(yǔ)言模型”自我糾錯(cuò)能力也相對(duì)有限，在相關(guān)測(cè)試結(jié)果中成績(jī)發(fā)揮最好的模型，也僅僅找出了 52.9% 的邏輯錯(cuò)誤。

谷歌研究人員同時(shí)聲稱，這一 BIG-Bench Mistake 數(shù)據(jù)集有利于改善模型自我糾錯(cuò)能力，經(jīng)過相關(guān)測(cè)試任務(wù)微調(diào)后的模型，“即便是小型模型表現(xiàn)也通常比零樣本提示的大模型更好”。

據(jù)此，谷歌認(rèn)為在模型糾錯(cuò)方面，可以使用專有小型模型“監(jiān)督”大型模型，相對(duì)于讓大語(yǔ)言模型學(xué)會(huì)“糾正自我錯(cuò)誤”，部署專用于監(jiān)督大模型的小型專用模型有利于改善效率、降低相關(guān) AI 部署成本，并更便于微調(diào)。