在當(dāng)今這個(gè)日新月異的科技時(shí)代，大語(yǔ)言模型（LLMs）的競(jìng)賽早已如火如荼地展開(kāi)。從最初的簡(jiǎn)單模型，到如今動(dòng)輒數(shù)千億參數(shù)的龐然大物，研究人員和企業(yè)們一直在探索如何讓這些模型變得更智能、更高效、更實(shí)用。然而，隨著模型規(guī)模的不斷擴(kuò)大，隨之而來(lái)的挑戰(zhàn)也愈發(fā)明顯：如何在提升推理能力的同時(shí)，提供強(qiáng)大的多語(yǔ)言支持？如何在復(fù)雜的開(kāi)放性任務(wù)中表現(xiàn)出色，而不被高昂的計(jì)算成本所拖累？這些問(wèn)題，就像懸在頭頂?shù)倪_(dá)摩克利斯之劍，時(shí)刻考驗(yàn)著每一個(gè)參與者。

就在這樣的背景下，清華大學(xué)的THUDM團(tuán)隊(duì)帶著他們的最新力作——GLM 4，強(qiáng)勢(shì)登場(chǎng)了。尤其是其中的GLM-Z1-32B-0414版本，憑借其獨(dú)特的設(shè)計(jì)理念和卓越的性能表現(xiàn)，迅速在眾多模型中脫穎而出，與GPT-4o、DeepSeek-V3等知名模型展開(kāi)了正面交鋒。那么，GLM 4究竟有何過(guò)人之處？它又是如何在320億參數(shù)的“中等身材”下，實(shí)現(xiàn)與超大模型相媲美的性能呢？接下來(lái)，就讓我們一起深入探索GLM 4的奧秘。

一、GLM 4的誕生背景與使命

在大語(yǔ)言模型的發(fā)展歷程中，小型模型雖然在成本和可及性上具有優(yōu)勢(shì)，但往往在性能上難以與大型模型抗衡。這就導(dǎo)致了一個(gè)尷尬的局面：企業(yè)和研究機(jī)構(gòu)要么選擇性能有限的小模型，要么就得承擔(dān)高昂的計(jì)算成本去使用大模型。為了解決這一矛盾，開(kāi)發(fā)出既能高效計(jì)算，又具備強(qiáng)大推理和指令跟隨能力的中型模型，成為了當(dāng)務(wù)之急。

GLM 4正是在這樣的需求下應(yīng)運(yùn)而生。它旨在通過(guò)創(chuàng)新的技術(shù)手段和優(yōu)化的訓(xùn)練策略，打破傳統(tǒng)模型在規(guī)模與性能之間的固有平衡，為用戶提供一種更加經(jīng)濟(jì)實(shí)惠且性能卓越的選擇。而GLM-Z1-32B-0414，作為這一系列的核心代表，更是承載著這一使命，向世界證明了中型模型的巨大潛力。

二、GLM 4的技術(shù)亮點(diǎn)與創(chuàng)新

（一）強(qiáng)大的多語(yǔ)言能力和推理策略

GLM 4的訓(xùn)練數(shù)據(jù)堪稱海量，達(dá)到了15萬(wàn)億個(gè)標(biāo)記。如此龐大的數(shù)據(jù)基礎(chǔ)，為模型提供了豐富的語(yǔ)料支持，使其能夠輕松應(yīng)對(duì)多種語(yǔ)言的復(fù)雜任務(wù)。而其獨(dú)特的“思考模式”（thinking mode），更是讓模型在處理推理任務(wù)時(shí)如魚(yú)得水。這種模式通過(guò)模擬人類的思考過(guò)程，讓模型在面對(duì)問(wèn)題時(shí)能夠進(jìn)行更深入、更全面的分析，從而得出更準(zhǔn)確的答案。

例如，在處理一個(gè)復(fù)雜的數(shù)學(xué)問(wèn)題時(shí)，GLM 4不會(huì)像傳統(tǒng)模型那樣簡(jiǎn)單地套用公式，而是會(huì)先對(duì)問(wèn)題進(jìn)行分解，分析其中的邏輯關(guān)系，再逐步推導(dǎo)出解決方案。這種深度思考的能力，使得GLM 4在推理類基準(zhǔn)測(cè)試中表現(xiàn)尤為出色，甚至能夠與參數(shù)高達(dá)6710億的GPT-4o和DeepSeek-V3一較高下。

（二）先進(jìn)的訓(xùn)練技術(shù)與優(yōu)化策略

在技術(shù)層面，GLM-Z1-32B-0414采用了多種前沿的訓(xùn)練方法。首先，它利用了大量高質(zhì)量的訓(xùn)練數(shù)據(jù)，包括合成生成的推理任務(wù)，來(lái)強(qiáng)化模型的分析能力。這就好比給模型提供了一個(gè)個(gè)精心設(shè)計(jì)的“思維訓(xùn)練營(yíng)”，讓其在不斷的練習(xí)中提升自己的邏輯推理能力。

此外，模型還引入了拒絕采樣（rejection sampling）和強(qiáng)化學(xué)習(xí)（reinforcement learning, RL）等復(fù)雜技術(shù)。拒絕采樣能夠幫助模型在生成回答時(shí)避免產(chǎn)生不合理的內(nèi)容，而強(qiáng)化學(xué)習(xí)則通過(guò)模擬人類的反饋機(jī)制，讓模型在不斷的試錯(cuò)中學(xué)習(xí)如何更好地完成任務(wù)。比如在編程任務(wù)中，模型會(huì)根據(jù)代碼的執(zhí)行結(jié)果來(lái)調(diào)整自己的生成策略，從而生成更高效、更準(zhǔn)確的代碼。

更值得一提的是，GLM-Z1系列中的“深度推理模型”（Deep Reasoning Model）變體，通過(guò)冷啟動(dòng)方法結(jié)合擴(kuò)展的強(qiáng)化學(xué)習(xí)訓(xùn)練，專門(mén)針對(duì)復(fù)雜的數(shù)學(xué)、邏輯和編程任務(wù)進(jìn)行了優(yōu)化。這種深度訓(xùn)練方式，讓模型在處理高難度任務(wù)時(shí)能夠展現(xiàn)出更強(qiáng)的適應(yīng)性和靈活性。

（三）獨(dú)特的“反芻”能力

除了上述技術(shù)亮點(diǎn)，GLM-Z1-Rumination-32B-0414版本還引入了一種名為“反芻”（rumination）的全新方法。這種方法允許模型在面對(duì)開(kāi)放性、復(fù)雜性問(wèn)題時(shí)，進(jìn)行更長(zhǎng)時(shí)間的深度思考。想象一下，當(dāng)我們?cè)诿鎸?duì)一個(gè)棘手的問(wèn)題時(shí)，往往會(huì)反復(fù)思考、斟酌，試圖從不同的角度找到解決方案。GLM-Z1-Rumination-32B-0414正是借鑒了這種人類的思考方式，通過(guò)整合先進(jìn)的搜索工具和多目標(biāo)強(qiáng)化學(xué)習(xí)，讓模型能夠在復(fù)雜的任務(wù)中進(jìn)行更深入的探索。

例如，在進(jìn)行兩個(gè)城市的人工智能發(fā)展比較分析時(shí)，模型不會(huì)僅僅停留在表面的描述，而是會(huì)深入挖掘每個(gè)城市在人工智能領(lǐng)域的優(yōu)勢(shì)、劣勢(shì)、未來(lái)發(fā)展規(guī)劃等多方面信息，并結(jié)合搜索工具獲取更多的數(shù)據(jù)支持，最終生成一份全面、深入的分析報(bào)告。這種“反芻”能力，讓GLM-Z1-Rumination-32B-0414在研究型寫(xiě)作和復(fù)雜檢索任務(wù)中表現(xiàn)得尤為出色，為用戶提供了更強(qiáng)大的工具支持。

三、GLM 4的性能表現(xiàn)

GLM 4系列的性能數(shù)據(jù)無(wú)疑是其最大的亮點(diǎn)之一。在多個(gè)基準(zhǔn)測(cè)試中，GLM-4-32B-0414都展現(xiàn)出了令人矚目的成績(jī)。在指令遵循基準(zhǔn)測(cè)試IFEval中，GLM 4取得了87.6的高分，這一成績(jī)足以證明其在理解并執(zhí)行用戶指令方面的強(qiáng)大能力。而在任務(wù)自動(dòng)化基準(zhǔn)測(cè)試TAU-Bench中，GLM 4在零售場(chǎng)景中得分68.7，在航空?qǐng)鼍爸械梅?1.2，這些成績(jī)都表明了模型在不同實(shí)際應(yīng)用場(chǎng)景中的廣泛適用性。

在搜索增強(qiáng)型問(wèn)答任務(wù)中，GLM 4通過(guò)SimpleQA測(cè)試，取得了88.1的高分，這說(shuō)明其在處理基于搜索的問(wèn)答任務(wù)時(shí)能夠快速準(zhǔn)確地找到答案。此外，在函數(shù)調(diào)用任務(wù)的BFCL-v3基準(zhǔn)測(cè)試中，GLM 4與GPT-4o的表現(xiàn)不相上下，總分達(dá)到了69.6。而在實(shí)際的代碼修復(fù)場(chǎng)景中，通過(guò)SWE-bench測(cè)試，GLM 4在使用Moatless框架時(shí)成功率達(dá)到33.8%，這一成績(jī)不僅展示了其在編程領(lǐng)域的實(shí)用性，也進(jìn)一步證明了其在實(shí)際應(yīng)用中的價(jià)值。

四、GLM 4的實(shí)用價(jià)值與應(yīng)用場(chǎng)景

GLM 4不僅在技術(shù)上具有創(chuàng)新性，在實(shí)際應(yīng)用中也展現(xiàn)出了巨大的價(jià)值。其320億參數(shù)的“中等身材”，使其在性能和計(jì)算成本之間取得了完美的平衡。對(duì)于許多企業(yè)和研究機(jī)構(gòu)來(lái)說(shuō)，這意味著他們可以在不投入過(guò)多計(jì)算資源的情況下，享受到高性能AI解決方案帶來(lái)的便利。

例如，在企業(yè)自動(dòng)化辦公場(chǎng)景中，GLM 4可以快速生成工作報(bào)告、分析數(shù)據(jù)、處理郵件等任務(wù)，大大提高工作效率。在科研領(lǐng)域，GLM-Z1-Rumination-32B-0414的“反芻”能力能夠幫助研究人員進(jìn)行復(fù)雜的文獻(xiàn)綜述、數(shù)據(jù)分析和研究方案設(shè)計(jì)，為科研工作提供有力支持。而對(duì)于那些資源有限的用戶，GLM-Z1-9B-0414版本則是一個(gè)絕佳的選擇。盡管其參數(shù)僅為90億，但仍然在數(shù)學(xué)推理和通用任務(wù)中表現(xiàn)出色，在資源受限的情況下，能夠?qū)崿F(xiàn)效率與效果的完美平衡。

五、如何使用GLM 4

為了讓更多的用戶能夠方便地使用GLM 4，THUDM團(tuán)隊(duì)還提供了詳細(xì)的模型使用指南。以下是一些關(guān)鍵的使用建議：

（一）采樣參數(shù)設(shè)置

• 溫度（temperature）：建議設(shè)置為0.6，以平衡創(chuàng)造力和穩(wěn)定性。
• 累積概率閾值（top_p）：推薦值為0.95，用于控制采樣過(guò)程中的多樣性。
• top_k：設(shè)置為40，可以過(guò)濾掉罕見(jiàn)的標(biāo)記，同時(shí)保持一定的多樣性。
• 最大新標(biāo)記數(shù)（max_new_tokens）：建議設(shè)置為30000，為模型的思考過(guò)程留出足夠的空間。

（二）強(qiáng)制思考

在對(duì)話的第一行添加??<think>\n???，確保模型在回應(yīng)之前先進(jìn)行思考。如果使用??chat_template.jinja??，這一提示會(huì)自動(dòng)注入，從而強(qiáng)制模型進(jìn)行思考。

（三）對(duì)話歷史裁剪

僅保留最終用戶可見(jiàn)的回復(fù)。隱藏的思考內(nèi)容不應(yīng)保存到歷史記錄中，以減少干擾。這一功能已經(jīng)在??chat_template.jinja??中實(shí)現(xiàn)。

（四）處理長(zhǎng)上下文（YaRN）

當(dāng)輸入長(zhǎng)度超過(guò)8192個(gè)標(biāo)記時(shí)，可以考慮啟用YaRN（Rope Scaling）。在支持的框架中，只需在??config.json??中添加以下代碼片段：

"rope_scaling": {
  "type": "yarn",
  "factor": 4.0,
  "original_max_position_embeddings": 32768
}

靜態(tài)YaRN會(huì)均勻應(yīng)用于所有文本。它可能會(huì)略微降低短文本的性能，因此建議根據(jù)需要啟用。

六、結(jié)語(yǔ)

GLM 4的出現(xiàn)，無(wú)疑是大語(yǔ)言模型領(lǐng)域的一次重大突破。它不僅在技術(shù)上實(shí)現(xiàn)了多項(xiàng)創(chuàng)新，更在性能和實(shí)用性之間找到了完美的平衡。無(wú)論是對(duì)于追求高性能的科研人員，還是希望在實(shí)際業(yè)務(wù)中應(yīng)用AI的企業(yè)，GLM 4都提供了一個(gè)極具性價(jià)比的選擇。而其開(kāi)源的傳統(tǒng)，更是讓更多的開(kāi)發(fā)者和用戶能夠參與到這一前沿技術(shù)的探索和應(yīng)用中來(lái)。

在未來(lái)的道路上，GLM 4還將不斷進(jìn)化，持續(xù)為用戶提供更強(qiáng)大的功能和更優(yōu)質(zhì)的服務(wù)。我們有理由相信，GLM 4將成為大語(yǔ)言模型領(lǐng)域的一顆璀璨明珠，引領(lǐng)著人工智能技術(shù)走向更加輝煌的未來(lái)。

本文轉(zhuǎn)載自公眾號(hào)Halo咯咯    作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/ZgnJhiLG_LS_KFJliD_-Kg??