在人工智能領域的快速發展進程中，阿里通義千問的 Qwen2.5 模型以其強大的性能和廣泛的應用潛力，成為了備受關注的焦點。2024 云棲大會上的發布，更是讓 Qwen2.5 走進了更多開發者和研究者的視野。本文將深入探討 Qwen2.5 的各項技術特點和優勢。

一、總體概述

Qwen2.5 全系列涵蓋了多個尺寸的大語言模型、多模態模型、數學模型和代碼模型。這種全面的模型體系，為不同領域的應用提供了強大的支持。無論是自然語言處理任務中的文本生成、問答，還是在編程領域的代碼生成與輔助，亦或是數學問題的求解，Qwen2.5 都能發揮出色的作用。每個尺寸的模型都有基礎版本、指令跟隨版本、量化版本，總計上架 100 多個模型，滿足了用戶在不同場景下的多樣化需求，刷新了業界紀錄。

二、性能提升

1. 預訓練數據優勢：Qwen2.5 全系列模型在 18t tokens 數據上進行預訓練，預訓練數據量大幅度增長達到了 18 萬億 tokens，超過了 meta 最新開源 llama-3.1 的 15 萬億，成為目前訓練數據最多的開源模型之一。大量的數據為模型提供了更豐富的知識和更準確的理解能力。

2. 整體性能升級：與 Qwen2 相比，Qwen2.5 的整體性能提升了 18%以上。在知識能力方面，其在 MMLU 基準測試等多個測評中都有顯著改進；數學能力也得到了快速提升，例如在 Math 基準上，Qwen2.5-7b/72b-instruct 的得分相比 Qwen2-7b/72b-instruct 有了明顯提高。

3. 指令跟隨與結構化數據處理能力增強：在指令跟隨方面，Qwen2.5 進步明顯，能夠更好地理解和執行用戶的指令。同時，對于結構化數據（如表格）的理解和生成結構化輸出（尤其是 json）的能力也實現了顯著改進。這使得它在處理復雜數據和需要精確輸出的任務中表現更加出色。

4. 強大的語言支持：Qwen2.5 支持高達 128k 的上下文長度，可生成最多 8k 內容，并且能夠絲滑響應多樣化的系統提示，實現角色扮演和聊天機器人等任務。它還支持中文、英文、法文、西班牙文、俄文、日文、越南文、阿拉伯文等 29 種以上語言，具有強大的多語言能力。

三、專項突破

1. Qwen2.5-coder：用于編程的 Qwen2.5-coder 在多達 5.5t tokens 的編程相關數據上進行了訓練，為開發者提供了更高效的編程輔助。無論是代碼的生成、調試，還是回答編程相關的問題，它都能給出準確且實用的建議。

2. Qwen2.5-math：Qwen2.5-math 支持使用思維鏈和工具集成推理（TIR）解決中英雙語的數學題，是迄今為止最先進的開源數學模型系列。通過在更大規模的高質量數學數據上進行預訓練，并結合 Qwen2-math 的技術，其數學問題解決能力得到了極大的提升。

四、應用場景

Qwen2.5 的強大性能和豐富功能使其在眾多領域都有著廣闊的應用前景。

• 教育領域：可以作為智能輔導工具，為學生解答學習過程中的各種問題，輔助他們理解復雜的知識概念。例如，在語文學習中，Qwen2.5 可以分析文學作品、生成寫作建議；在數學學習中，幫助學生解決難題、講解解題思路。
• 企業辦公：在企業中，Qwen2.5 可用于智能客服，快速準確地回答客戶的問題，提高客戶滿意度。同時，還能助力自動化辦公，如撰寫報告、整理數據等，極大地提高工作效率。
• 科研領域：為研究人員提供強大的數據處理和分析支持。在文獻綜述中，快速梳理相關領域的研究現狀；在實驗設計階段，提供創新的思路和方法。
• 編程開發：Qwen2.5-coder 為開發者提供高效的編程輔助，生成高質量的代碼、進行代碼優化和調試，加快軟件開發的進程。

五、本地部署

在魔搭社區，開發者可以通過多種方式體驗和使用Qwen2.5系列模型。可以使用ModelScope CLI、Python SDK或者git clone的方式下載模型。Qwen2.5合集的體驗鏈接為：???https://modelscope.cn/studios/qwen/Qwen2.5??。此外，還有小程序體驗，如看圖解數學題（Qwen2 - VL + Qwen2.5 - Math）的體驗鏈接為：https://modelscope.cn/studios/qwen/Qwen2.5 - Math - demo。

1、模型下載

可以采用modelscope 的snapshot_download進行下載模型（提前安裝modelscope : pip install modelscope）,第一個參數為modelscope上的模型路徑，cache_dir為模型本地存放地址

#模型下載
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen2.5-7B-Instruct', cache_dir='/root/autodl-tmp', revisinotallow='master')

下載完成如下：

2、加載模型

from modelscope import AutoModelForCausalLM, AutoTokenizer


# 指定要加載的模型名稱
model_name = "/root/autodl-tmp/Qwen/Qwen2___5-7B-Instruct"


# 加載因果語言模型
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",  # 自動確定 PyTorch 的數據類型
    device_map="auto"  # 自動確定設備映射
)


# 加載分詞器
tokenizer = AutoTokenizer.from_pretrained(model_name)

加載如下：

3、定義提示消息

# 設置提示文本
prompt = "Give me a short introduction to artificial intelligence."
# 構建包含系統角色和用戶角色的消息列表
messages = [
    {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
    {"role": "user", "content": prompt}
]


# 將消息列表應用聊天模板進行處理，不進行分詞操作且添加生成提示
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
text

輸出：

'<|im_start|>system\nYou are Qwen, created by Alibaba Cloud. You are a helpful assistant.<|im_end|>\n<|im_start|>user\nGive me a short introduction to artificial intelligence.<|im_end|>\n<|im_start|>assistant\n'

4、分詞處理

對輸入文本進行分詞和張量轉換

# 將處理后的文本轉換為模型輸入張量，并移動到模型所在設備上
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
model_inputs

輸出：

5、生成文本

生成文本，再從生成的標記中去除輸入部分的標記

# 生成文本，設置最大新生成的標記數為 512
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)


# 從生成的標記中去除輸入部分的標記
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
generated_ids

?輸出：

6、解碼返回生成結果

# 將生成的標記解碼為文本，并跳過特殊標記
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
response

輸出：

'Certainly! Artificial Intelligence (AI) refers to the simulation of human intelligence in machines that are programmed to think, learn, and perform tasks that typically require human cognition. This includes activities such as visual perception, speech recognition, decision-making, and language translation.\n\nKey components of AI include:\n\n1. **Machine Learning**: A subset of AI where systems can automatically learn and improve from experience without being explicitly programmed.\n2. **Deep Learning**: A more advanced form of machine learning that uses neural networks with many layers to model and solve complex problems.\n3. **Natural Language Processing (NLP)**: The ability of computers to understand, interpret, and generate human language.\n4. **Computer Vision**: Enabling machines to interpret and understand the visual world, similar to how humans would.\n5. **Robotics**: Combining AI with robotics to create machines that can perform tasks autonomously or semi-autonomously.\n\nAI has numerous applications across various fields, including healthcare, finance, transportation, entertainment, and more. It continues to evolve rapidly, transforming industries and societies in profound ways.'

結語

在模型微調方面，可以使用ms-swift 進行微調。它作為魔搭社區官方提供的 LLM 工具箱，以其強大的功能支持著對 qwen2.5 的微調操作。通過 ms-swift，開發者能夠對 qwen2.5 進行精細調整，使其更加貼合特定的應用需求。而微調后的模型在推理過程中，更是展現出了高度的準確性和適應性，為各種復雜任務的解決提供了有力保障。同時，ms-swift 廣泛支持 300 多個大語言模型和 80 多個多模態大模型的微調到部署，為開發者提供了豐富的選擇和廣闊的創新空間。

在模型部署方面，vLLM 部署和 ollama 部署猶如兩顆璀璨的明星，為開發者照亮了前行的道路。它們以其便捷性和高效性，使得 Qwen2.5 能夠在各種實際場景中得以順利應用。無論是在企業的智能化生產中，還是在科研機構的創新研究里，亦或是在日常生活的智能服務中，Qwen2.5 都能借助這些優秀的部署方式發揮出巨大的價值。

本文轉載自??小兵的AI視界??，作者： 小兵 ????