打臉奧特曼，GPT-4今年比去年還懶！網(wǎng)友在線實(shí)測(cè)出爐
GPT-4變懶的問(wèn)題，又有新進(jìn)展。
就在今天凌晨，奧特曼發(fā)推稱，GPT-4這個(gè)毛病在新的一年應(yīng)該好多了！
圖片
關(guān)于GPT-4變懶，網(wǎng)友的吐槽已是不計(jì)其數(shù)，其中最多的就是與代碼相關(guān)的任務(wù)：
完成度不高不說(shuō)，還會(huì)被分割成一個(gè)一個(gè)小塊，使用時(shí)需要逐一復(fù)制。
對(duì)于最新版本，一位博主體驗(yàn)之后表示，自己嘗試給一年級(jí)的孩子做了個(gè)學(xué)習(xí)用的小游戲，效果還不錯(cuò)。
圖片
但也有人不認(rèn)同，比如這位網(wǎng)友就發(fā)現(xiàn)，ChatGPT回復(fù)的長(zhǎng)度雖然增加了，但是很多都是車轱轆話，干正事依舊擺爛。
他讓ChatGPT把一些文本翻譯成17種語(yǔ)言，結(jié)果嘰里呱啦說(shuō)了一堆就是不翻譯。
圖片
為了消除個(gè)體差異，有網(wǎng)友用數(shù)據(jù)集測(cè)試了新的ChatGPT，結(jié)果……
新版反而更懶了？
這位網(wǎng)友用GitHub上開源的一套“l(fā)azy benchmark”測(cè)試了0125（24年1月最新版）和1106（23年11月的上一版）GPT-4模型，發(fā)現(xiàn)新版甚至還不如以前，變得更懶了。
圖片
這個(gè)測(cè)試數(shù)據(jù)集包含了與代碼相關(guān)的任務(wù)，用正確完成的比例間接反應(yīng)“懶惰”程度，完成率越高說(shuō)明“惰性”越小。
結(jié)果，對(duì)于其中的代碼比較（Unified diffs）任務(wù)，舊版能完成的比例尚且超過(guò)了一半，為57%，新版的完成率卻僅有44%，降低了近四分之一。
圖片
直觀感受上，也有人發(fā)現(xiàn)ChatGPT的“懶惰”變本加厲了——
以前就算偷懶至少還會(huì)糊弄一下，給出個(gè)大概的框架讓用戶自行補(bǔ)充，現(xiàn)在直接就是擺爛說(shuō)自己干不了。
圖片
而針對(duì)網(wǎng)友們的這番發(fā)現(xiàn)，也有人給出了銳評(píng)：
幾周之前奧特曼就說(shuō)過(guò)GPT-4表現(xiàn)變好了，但是有人感覺(jué)到差別嗎？
圖片
這次，關(guān)于GPT-4變懶的原因，以及到底采用了什么優(yōu)化策略，奧特曼也未做進(jìn)一步說(shuō)明。
“土辦法”可降低惰性
不過(guò)，之前的一項(xiàng)研究表明，GPT-4的惰性可能與時(shí)間相關(guān)，這一結(jié)論與GPT-4“變懶”的現(xiàn)象出現(xiàn)在年末的12月相吻合。
圖片
按照這一理論，新年伊始，模型的表現(xiàn)的確會(huì)有所提升，但似乎解釋不了表現(xiàn)不升反降的現(xiàn)象。
不過(guò)，網(wǎng)友們也總結(jié)了一些“土辦法”，能在一定程度上降低ChatGPT的惰性。
比如告訴它“我沒(méi)有手指”，就能得到相對(duì)完整的代碼，而不是一段段碎片。
圖片
又或者，告訴ChatGPT自己會(huì)“給小費(fèi)”，也能激發(fā)它的工作動(dòng)力。
甚至有人專門針對(duì)“小費(fèi)”的金額進(jìn)行了研究，發(fā)現(xiàn)10美元的性價(jià)比是最高的。
圖片
那么，你覺(jué)得ChatGPT是變好了還是更懶了？
