01、概述

在軟件開(kāi)發(fā)的世界里，智能、高效、專業(yè)的編程語(yǔ)言模型始終是行業(yè)發(fā)展的關(guān)鍵推動(dòng)力。盡管現(xiàn)有的編程模型在自動(dòng)化代碼生成、自動(dòng)補(bǔ)全和推理方面已經(jīng)取得了顯著進(jìn)展，但仍然存在不少問(wèn)題，諸如在處理多樣化的編碼任務(wù)時(shí)效率不高、缺乏領(lǐng)域特定的專業(yè)性，以及在現(xiàn)實(shí)編程場(chǎng)景中的應(yīng)用困難。盡管大型語(yǔ)言模型（LLM）不斷崛起，專門針對(duì)代碼的模型卻往往難以與其專有的同行競(jìng)爭(zhēng)，尤其是在通用性和適用性方面。這使得業(yè)界對(duì)于一種能夠不僅在標(biāo)準(zhǔn)基準(zhǔn)測(cè)試中表現(xiàn)出色，還能適應(yīng)多變環(huán)境的模型的需求愈發(fā)強(qiáng)烈。

02、Qwen2.5-Coder

正是在這種背景下，Qwen 推出了其開(kāi)放源碼的 “強(qiáng)大、豐富、實(shí)用” 的 Qwen2.5-Coder 系列，旨在持續(xù)推動(dòng)開(kāi)放源代碼編程語(yǔ)言模型（CodeLLMs）的發(fā)展。Qwen2.5-Coder 系列基于 Qwen2.5 架構(gòu)，借助其先進(jìn)的架構(gòu)設(shè)計(jì)和龐大的分詞器，大幅提升了編碼任務(wù)的效率與準(zhǔn)確性。更為重要的是，Qwen 的這一舉措標(biāo)志著其在促進(jìn)開(kāi)發(fā)者、研究人員和行業(yè)專業(yè)人士使用開(kāi)源編程語(yǔ)言模型方面的堅(jiān)定承諾。Qwen2.5-Coder 系列提供了從 0.5B 到 32B 參數(shù)范圍的多個(gè)版本，為不同的編碼需求提供了靈活的選擇。Qwen2.5-Coder-32B-Instruct 的發(fā)布正值關(guān)鍵時(shí)刻，它不僅是 Qwen 系列中最具能力和實(shí)用性的編碼模型之一，也展示了 Qwen 推動(dòng)創(chuàng)新、推動(dòng)開(kāi)源編程模型發(fā)展的決心。

03、技術(shù)細(xì)節(jié)

Qwen2.5-Coder 系列的技術(shù)實(shí)現(xiàn)也十分引人注目。這些模型經(jīng)歷了大規(guī)模的預(yù)訓(xùn)練，涵蓋了超過(guò) 5.5 萬(wàn)億個(gè)標(biāo)記（tokens），這些標(biāo)記來(lái)自公開(kāi)的代碼庫(kù)和大規(guī)模的網(wǎng)絡(luò)抓取數(shù)據(jù)，其中包含了大量與代碼相關(guān)的文本信息。無(wú)論是 1.5B 還是 7B 參數(shù)模型，Qwen2.5-Coder 的架構(gòu)設(shè)計(jì)都保持一致，采用了 28 層的結(jié)構(gòu)，同時(shí)在隱藏層大小和注意力頭（attention heads）上有所不同。此外，Qwen2.5-Coder 還通過(guò)前身模型 CodeQwen1.5 生成的合成數(shù)據(jù)集進(jìn)行微調(diào)，并引入了一個(gè)執(zhí)行器（executor）來(lái)確保代碼可執(zhí)行，從而大幅減少了模型幻覺(jué)（hallucination）問(wèn)題的發(fā)生。

這一切的設(shè)計(jì)，使得 Qwen2.5-Coder 不僅能夠生成代碼、補(bǔ)全代碼、推理代碼，甚至能夠?qū)Υa進(jìn)行編輯，極大地拓展了其應(yīng)用場(chǎng)景和實(shí)用性。無(wú)論是處理簡(jiǎn)單的代碼補(bǔ)全，還是進(jìn)行復(fù)雜的多語(yǔ)言編程任務(wù)，Qwen2.5-Coder 都能輕松應(yīng)對(duì)。

04、性能與多語(yǔ)言支持

Qwen2.5-Coder 在多個(gè)評(píng)測(cè)基準(zhǔn)中取得了優(yōu)異的表現(xiàn)，展示了其超越同行的強(qiáng)大能力。特別是在 HumanEval 和 BigCodeBench 等超過(guò) 10 個(gè)評(píng)測(cè)基準(zhǔn)上，Qwen2.5-Coder 一直表現(xiàn)出色，甚至超過(guò)了同等規(guī)模甚至更大模型的表現(xiàn)。舉例來(lái)說(shuō)，Qwen2.5-Coder-7B-Base 在 HumanEval 和 MBPP 基準(zhǔn)上取得了比 StarCoder2 和 DeepSeek-Coder 等模型更高的準(zhǔn)確率。

Qwen2.5-Coder 系列的另一個(gè)亮點(diǎn)是其多語(yǔ)言編程能力。該系列模型在包括 Python、Java 和 TypeScript 在內(nèi)的八種編程語(yǔ)言上展現(xiàn)了均衡的能力。這種跨語(yǔ)言的能力使得 Qwen2.5-Coder 成為一個(gè)理想的多語(yǔ)言編程助手，不論是開(kāi)發(fā)者想要編寫 Python 腳本，還是需要在 Java 或 TypeScript 中解決復(fù)雜問(wèn)題，Qwen2.5-Coder 都能提供極高的支持。

此外，Qwen2.5-Coder 在長(zhǎng)上下文處理方面也表現(xiàn)出色，其長(zhǎng)達(dá) 128k 標(biāo)記的上下文處理能力，能夠幫助開(kāi)發(fā)者輕松處理大型代碼庫(kù)，適應(yīng)復(fù)雜的項(xiàng)目需求。

05、可擴(kuò)展性與可訪問(wèn)性

Qwen2.5-Coder 的另一個(gè)優(yōu)勢(shì)在于其靈活的可擴(kuò)展性。系列模型提供了從 0.5B 到 32B 不同參數(shù)大小的版本，且支持 GPTQ、AWQ、GGUF 等量化格式，能夠滿足不同計(jì)算需求的開(kāi)發(fā)者和研究人員的使用需求。這種可擴(kuò)展性確保了即使沒(méi)有頂級(jí)計(jì)算資源的用戶，也能受益于強(qiáng)大的編碼能力，進(jìn)一步提升了 Qwen2.5-Coder 的可用性和普及度。

Qwen2.5-Coder 的多樣化模型格式也使得其在實(shí)際應(yīng)用中更加便捷，不同的模型參數(shù)和量化版本能滿足不同規(guī)模的項(xiàng)目需求，讓更多用戶能夠輕松上手并且應(yīng)用到自己的工作中。無(wú)論是想要使用輕量級(jí)模型進(jìn)行快速實(shí)驗(yàn)，還是需要龐大模型進(jìn)行深度學(xué)習(xí)和大規(guī)模項(xiàng)目的開(kāi)發(fā)，Qwen2.5-Coder 都能夠提供滿足需求的方案。

06、迎接開(kāi)放源碼編程語(yǔ)言模型的新未來(lái)

Qwen2.5-Coder 系列的開(kāi)源發(fā)布標(biāo)志著編程語(yǔ)言模型發(fā)展中的一個(gè)重要里程碑。通過(guò)推出這些強(qiáng)大、豐富、實(shí)用的模型，Qwen 成功地彌補(bǔ)了現(xiàn)有代碼專用模型的一些關(guān)鍵局限性。Qwen2.5-Coder 系列不僅在性能、可擴(kuò)展性和靈活性方面處于行業(yè)領(lǐng)先地位，而且為全球開(kāi)發(fā)者社區(qū)提供了寶貴的工具，促進(jìn)了開(kāi)源編程助手的發(fā)展。

無(wú)論你是需要利用 0.5B 模型的輕量級(jí)功能，還是需要 32B 變體的龐大計(jì)算能力，Qwen2.5-Coder 系列都能滿足你不同的需求。現(xiàn)在正是體驗(yàn) Qwen 最強(qiáng)大的編碼模型——Qwen2.5-Coder-32B-Instruct，以及其眾多小型模型的最佳時(shí)機(jī)。讓我們共同迎接開(kāi)放源碼編程語(yǔ)言模型的新時(shí)代，這個(gè)時(shí)代將不斷推動(dòng)創(chuàng)新和可訪問(wèn)性的邊界，為全球開(kāi)發(fā)者帶來(lái)前所未有的機(jī)遇。

07、結(jié)語(yǔ)

Qwen2.5-Coder 系列不僅是一項(xiàng)技術(shù)突破，更是開(kāi)源編程語(yǔ)言模型發(fā)展的一大步。它在性能、可擴(kuò)展性、支持的編程語(yǔ)言和應(yīng)用場(chǎng)景的多樣性方面，展現(xiàn)了其巨大的潛力和價(jià)值。對(duì)于廣大開(kāi)發(fā)者而言，Qwen2.5-Coder 無(wú)疑是一個(gè)值得關(guān)注和嘗試的重要工具。我們有理由相信，在未來(lái)的日子里，Qwen2.5-Coder 將成為編程領(lǐng)域不可或缺的一部分，推動(dòng)開(kāi)源編程助手的進(jìn)一步發(fā)展。

參考：

1. ??https://qwenlm.github.io/blog/qwen2.5-coder-family/??
2. ??https://arxiv.org/abs/2409.12186??
3. ??https://huggingface.co/collections/Qwen/qwen25-coder-66eaa22e6f99801bf65b0c2f??

本文轉(zhuǎn)載自公眾號(hào)Halo咯咯 作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/Ut4y1SF9qvJUc98hXd6vvw??