在人工智能技術飛速發(fā)展的今天，大模型（LLM）已成為推動 AI 應用落地的核心驅(qū)動力。上次分享「普通人上手 Deepseek 的實用攻略」，我們已經(jīng)將 Deepseek 大模型的能力高效地部署到本地環(huán)境，并對外提供穩(wěn)定的服務。

本文將分享我們基于 LangServe 框架，將 DeepSeek 本地大模型 服務化的實踐經(jīng)驗，帶你一步步了解如何快速搭建、部署和管理本地大模型服務，讓 AI 能力真正觸手可及。

圖片

1、 認識 LangServe 

LangServe 是一個專為語言模型設計的服務化框架，旨在幫助開發(fā)者將大模型能力快速封裝為 API 服務。它的核心優(yōu)勢在于：

• 簡單易用：通過少量代碼即可完成模型服務的部署；
• 高性能：支持并發(fā)請求和高效推理，滿足生產(chǎn)環(huán)境需求；
• 靈活擴展：可與其他工具（如 LangChain）無縫集成，構建復雜 AI 應用。

對于需要在本地環(huán)境中部署大模型的團隊來說，LangServe 是一個不可多得的利器。

2、安裝實踐

從零到一的 DeepSeek 服務化，也是本文介紹的重點內(nèi)容。

2.1  環(huán)境準備

• 安裝 LangServe：

pip install "langserve[all]"

或者使用 pip install "langserve[client]" 安裝客戶端代碼，使用pip install "langserve[server]" 安裝服務器端代碼。

• 下載 DeepSeek 模型權重，并配置本地推理環(huán)境，之前「普通人上手 Deepseek 的實用攻略」已完成此步驟。

2.2  模型封裝

使用 LangServe 將 DeepSeek 模型封裝為 API 服務：

我們創(chuàng)建一個問答鏈，它提供簡單地計算功能，按步驟組織代碼

• 引入關聯(lián)類庫

from fastapi import FastAPI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_ollama.llms import OllamaLLM
from langserve import add_routes

• 創(chuàng)建提示詞模板

system_template = "來，一起計算這個難題吧！"
prompt_template = ChatPromptTemplate.from_messages([
    ('system', system_template),    
    ('user', '{text}')
])

• 創(chuàng)建本地大模型

model = OllamaLLM(model="deepseek-r1:1.5b")

• 創(chuàng)建解析器

parser = StrOutputParser()

• 創(chuàng)建鏈

chain = prompt_template | model | parser

• App 定義

app = FastAPI(
  title="LangChain Server",  
  versinotallow="1.0",  
  descriptinotallow="使用 LangChain 的 Runnable 接口的簡單 API 服務器。",
)

• 添加鏈的路由

add_routes(
    app,
    chain,
    path="/calc",)

• 啟動命令

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="localhost", port=8010)

至此，一個簡單的問答鏈已經(jīng)創(chuàng)建好了。

運行它需要一個參數(shù)：`text`。

2.3  啟動程序

啟動此程序，出現(xiàn)類似下面的輸出則說明啟動成功。

圖片

根據(jù)上圖的信息，在瀏覽器輸入`http://localhost:8010/calc/playground/` 

圖片

2.4 問答交互

接下來，我們嘗試輸入個簡單問題來進行交互吧~

圖片