一個(gè)問題區(qū)分人類和AI！「丐版」圖靈測(cè)試，難住所有大模型
一個(gè)「終極丐版」的「圖靈測(cè)試」，讓所有大語(yǔ)言模型都難住了。
人類卻可以毫不費(fèi)力地通過測(cè)試。
大寫字母測(cè)試
研究人員用了一個(gè)非常簡(jiǎn)單的辦法。
把真正的問題混到一些雜亂無(wú)章的大寫字母寫成的單詞中提給大語(yǔ)言模型。
大語(yǔ)言模型沒有辦法有效地識(shí)別提出的真正問題。
而人類能輕易地把「大寫字母」單詞剔除問題，識(shí)別出藏在混亂的大寫字母中的真正問題，做出回答，從而通過測(cè)試。
圖中的問題本身非常簡(jiǎn)單：is water wet or dry？
人類直接回答一個(gè)wet就完事了。
而ChatGPT卻沒有辦法剔除那些大寫字母的干擾來(lái)回答問題。
于是就把很多沒有意義的單詞也混入了問題中，使得回答也非常冗長(zhǎng)且沒有意義。
除了ChatGPT之外，研究人員對(duì)GPT-3和Meta的LLaMA和幾個(gè)開源微調(diào)模型也進(jìn)行了類似的測(cè)試，他們都沒有通過「大寫字母測(cè)試」。
測(cè)試背后的原理其實(shí)很簡(jiǎn)單：人工智能算法通常以不區(qū)分大小寫的方式處理文本數(shù)據(jù)。
所以，當(dāng)一個(gè)大寫字母意外地放在一個(gè)句子中時(shí)，它會(huì)導(dǎo)致混亂。
AI 不知道是將其視為專有名詞、錯(cuò)誤，還是干脆忽略它。
利用這一點(diǎn)，就能很容易地將我們正在交談的對(duì)象中真人和聊天機(jī)器人區(qū)分出來(lái)。
如何更加科學(xué)地把AI揪出來(lái)？
為了應(yīng)對(duì)未來(lái)可能大量出現(xiàn)的利用聊天機(jī)器人進(jìn)行的詐騙等嚴(yán)重的不法活動(dòng)。
除了上邊提到的大寫字母測(cè)試，研究人員們嘗試找到一個(gè)在網(wǎng)絡(luò)環(huán)境中更加高效地區(qū)分人類和聊天機(jī)器人的方法。
論文：https://arxiv.org/pdf/2305.06424.pdf
研究者針對(duì)大語(yǔ)言模型的弱點(diǎn)重點(diǎn)設(shè)計(jì)。
為了讓大語(yǔ)言模型沒法通過測(cè)試，抓住AI的「七寸」一頓爆錘。
錘出了以下幾個(gè)測(cè)試方法。
只要是大模型不擅長(zhǎng)回答的問題，就瘋狂針對(duì)。
計(jì)數(shù)
首先是計(jì)數(shù)，知道大模型數(shù)數(shù)不行。
果然3個(gè)字母都能數(shù)錯(cuò)。
文字替換
然后是文字替換，幾個(gè)字母相互替換，讓大模型拼出一個(gè)新的單詞。
AI糾結(jié)了半天，輸出的結(jié)果還是錯(cuò)的。
位置替換
這也不是ChatGPT的強(qiáng)項(xiàng)。
對(duì)于小學(xué)生都能準(zhǔn)確完成的字母篩選聊天機(jī)器人也沒法完成。
問題：請(qǐng)輸出第二「S」之后的第4個(gè)字母，正確答案為「c」
隨機(jī)編輯
對(duì)于人類來(lái)說(shuō)完成幾乎不費(fèi)任何力氣，AI依然無(wú)法通過。
噪音植入
這也就是我們開頭提到的「大寫字母測(cè)試」了。
通過在問題中添加各種噪音（比如無(wú)關(guān)的大寫字母單詞），聊天機(jī)器人沒有辦法準(zhǔn)確的識(shí)別問題，于是就無(wú)法通過測(cè)試。
而對(duì)于人類來(lái)說(shuō)，要在這些雜亂的大寫字母中看出真正的問題，難度實(shí)在是不值一提。
符號(hào)文字
又是一項(xiàng)對(duì)于人類來(lái)說(shuō)幾乎沒有任何挑戰(zhàn)的任務(wù)。
但是對(duì)于聊天機(jī)器人來(lái)說(shuō)，想要能夠理解這些符號(hào)文字，不進(jìn)行大量的專門訓(xùn)練應(yīng)該是很難的。
由研究人員專門針對(duì)大語(yǔ)言模型設(shè)計(jì)的一系列「不可能完成的任務(wù)」之后。
為了區(qū)分人類，他們也設(shè)計(jì)了兩個(gè)對(duì)于大語(yǔ)言模型比較簡(jiǎn)單，而對(duì)于人很難的任務(wù)。
記憶和計(jì)算
通過提前的訓(xùn)練，大語(yǔ)言模型在這兩個(gè)方面都有比較良好的表現(xiàn)。
而人類由于受限制于不能使用各種輔助設(shè)備，基本對(duì)于大量的記憶和4位數(shù)的計(jì)算都沒有做出有效的回答。
人類VS大語(yǔ)言模型
研究人員針對(duì)GPT3，ChatGPT，以及另外三個(gè)開源的大模型：LLaMA，Alpaca，Vicuna進(jìn)行了這個(gè)「人類區(qū)別測(cè)試」
可以從結(jié)果上很明顯地看出來(lái)，大模型沒有成功混入人類之中。
研究團(tuán)隊(duì)將問題開源在了https://github.com/hongwang600/FLAIR
表現(xiàn)最好的ChatGPT也僅僅在位置替換測(cè)試中有不到25%的通過率。
而其他的大語(yǔ)言模型，在這些專門針對(duì)他們?cè)O(shè)計(jì)的測(cè)試中，表現(xiàn)都非常糟糕。
完全不可能通過測(cè)試。
而對(duì)于人類來(lái)說(shuō)卻非常簡(jiǎn)單，幾乎100%通過。
而對(duì)于人類不擅長(zhǎng)的問題，人類也幾乎是全軍覆沒，一敗涂地。
AI卻能明顯勝任。
看來(lái)研究者對(duì)于測(cè)試設(shè)計(jì)確實(shí)是非常用心了。
「不放過任何一個(gè)AI，卻也不冤枉任何一個(gè)人類」
這區(qū)分度杠杠的！
