數據不出內網：基于Ollama+OneAPI構建企業專屬DeepSeek智能中臺
前言
這次在沒有外網（應該說是被限制比較多）的服務器上部署，遇到一些坑，記錄一下
ollama
ollama 自然無法使用在線安裝腳本了
根據 ollama 的文檔
先在本地電腦根據服務器的系統和CPU架構下載安裝包
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz然后使用 scp 等工具上傳到服務器
scp ollama-linux-amd64.tgz 服務器地址:/temp連接到服務器上后解壓安裝，跟著 ollama 文檔來就行（見第一個參考資料）
sudo tar -C /usr -xzf ollama-linux-amd64.tgz這時候已經能執行 ollama 程序了
ollama serve然后再添加到服務，這也是 ollama 官方推薦的做法，方便管理
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)在 /etc/systemd/system 下新建 ollama.service 文件
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=default.target然后啟用服務
sudo systemctl daemon-reload
sudo systemctl enable ollama到這里 ollama 的安裝就搞定了
模型部署
離線服務器是無法使用 ollama pull 拉取模型的
需要先在本地下載，可以在本地的電腦上執行 ollama pull 的操作
然后把模型文件找到并上傳到服務器
大概思路就是這樣，具體的接下來介紹
找到本地模型文件
如果沒有特別配置，ollama 默認的模型文件都在 ??~/.ollama/models/blobs?? 里
先執行命令看看指定模型的路徑，比如說要找 deepseek-r1:32b 模型
ollama show deepseek-r1:32b --modelfile執行命令后的輸出（節選）
FROM C:\Users\deali\.ollama\models\blobs\sha256-96c415656d377afbff962f6cdb2394ab092ccbcbaab4b82525bc4ca800fe8a49
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<｜User｜>{{ .Content }}
{{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
{{- end }}"""
PARAMETER stop <｜begin▁of▁sentence｜>
PARAMETER stop <｜end▁of▁sentence｜>
PARAMETER stop <｜User｜>
PARAMETER stop <｜Assistant｜>可以看到這一行
FROM C:\Users\deali\.ollama\models\blobs\sha256-96c415656d377afbff962f6cdb2394ab092ccbcbaab4b82525bc4ca800fe8a49就是 ollama 下載到本地的模型的路徑
把這個文件上傳到服務器
導出Modelfile
這個文件格式類似 Dockerfile
使用以下命令導出
ollama show deepseek-r1:32b --modelfile > Modelfile然后這個文件也要上傳到服務器上
服務器上導入模型
模型文件和 Modelfile 上傳之后，放在同一個目錄下
先重命名一下，方便后續導入
mv sha256-96c415656d377afbff962f6cdb2394ab092ccbcbaab4b82525bc4ca800fe8a49 deepseek-r1_32b.gguf接著編輯一下 Modelfile 文件，把 FROM 這一行改成，也就是剛才修改之后的模型文件名稱
FROM ./deepseek-r1_32b.gguf然后執行以下命令導入
ollama create deepseek-r1:32b -f Modelfile如無意外就導入成功了，可以執行 ??ollama list?? 來查看是否已導入。
one-api
One API 是一款開源的 LLM（大語言模型）API 管理與分發系統，旨在通過標準的 OpenAI API 格式，統一訪問多種大模型，開箱即用。 它支持多種主流大模型，包括 OpenAI ChatGPT 系列、AnthropicClaude 系列、Google PaLM2/Gemini 系列、Mistral 系列、字節跳動豆包大模型、百度文心一言系列模型、阿里通義千問系列模型、訊飛星火認知大模型、智譜 ChatGLM 系列模型、騰訊混元大模型等。
docker部署
one-api是用go的gin框架開發的，部署很容易，我一般用docker部署，這塊不再贅述
services:
db:
image:mysql:8.1.0
container_name:mysql
restart:always
environment:
MYSQL_ROOT_PASSWORD:mysql-password
volumes:
-./data:/var/lib/mysql
one-api:
image:justsong/one-api
container_name:one-api
restart:always
ports:
-"3000:3000"
depends:
-db
environment:
-SQL_DSN=root:mysql-password@tcp(db:3306)/one_api
-TZ=Asia/Shanghai
-TIKTOKEN_CACHE_DIR=/TIKTOKEN_CACHE_DIR
volumes:
-./data:/data
-./TIKTOKEN_CACHE_DIR:/TIKTOKEN_CACHE_DIR
networks:
default:
name:one-api解決 tiktoken 問題
遇到的問題是它依賴了 tiktoken 這個庫，tiktoken 需要聯網下載 token encoder
解決方法是看錯誤日志，比如
one-api | [FATAL] 2025/02/17 - 10:47:21 | relay/adaptor/openai/token.go:26 [InitTokenEncoders] failed to get gpt-3.5-turbo token encoder: Get "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken": dial tcp 57.150.97.129:443: i/o timeout, if you are using in offline environment, please set TIKTOKEN_CACHE_DIR to use exsited files這里需要從 https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken 下載
我們先在本地下載這個文件，然后上傳到服務器
但這時還不行
tiktoken 只認 URL 的 SHA-1
生成 SHA-1
TIKTOKEN_URL=https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken
echo -n $TIKTOKEN_URL | sha1sum | head -c 40也可以合成一行命令
echo -n "https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken" | sha1sum | head -c 40在這行命令中，??echo -n??? 用于輸出指定的 URL 字符串（其 ??-n?? 參數的作用是禁止在輸出的末尾添加換行符），??sha1sum??? 計算其 SHA-1 哈希值，??head -c 40?? 截取前 40 個字符，即哈希值的前 40 位。
執行結果是
9b5ad71b2ce5302211f9c61530b329a4922fc6a4然后把 cl100k_base.tiktoken 文件重命名為輸出的 ??9b5ad71b2ce5302211f9c61530b329a4922fc6a4??
在前面的 docker-compose.yaml 里，我們已經指定了 TIKTOKEN_CACHE_DIR 環境變量
然后把這個 9b5ad71b2ce5302211f9c61530b329a4922fc6a4 文件放在 TIKTOKEN_CACHE_DIR 目錄里即可。
后續還有遇到類似報錯，重復以上操作，直到沒有報錯為止。
我目前使用的版本只下載了兩個 encoder
在OneApi中添加Ollama渠道
這里因為docker網絡的問題會有些麻煩
有多種思路，一種是讓OneApi的容器跑在 host 網絡模式下
一種是使用 host.docker.internal 這個地址
當然前提都是 ollama 的 host 設置為 ??0.0.0.0??? 。?
在添加渠道的時候，類型選擇 Ollama
自定義模型部分填入我們部署的 deepseek-r1:32b
然后代理填寫 ??http://host.docker.internal:11434??
注意：在 Linux 環境中，??host.docker.internal??? 可能無法工作，但你可以直接使用宿主機的 IP 地址。例如，如果宿主機的 IP 地址是 ??192.168.1.100???，可以在OneApi中使用 ??http://192.168.1.100:11434?? 來訪問 Ollama 服務。
參考資料
- ???https://github.com/ollama/ollama/blob/main/docs/linux.md???
- ???https://stackoverflow.com/questions/76106366/how-to-use-tiktoken-in-offline-mode-computer???
- ???https://www.cnblogs.com/cjdty/p/18659438???
- ???https://zhuanlan.zhihu.com/p/20485169539????
本文轉載自???程序設計實驗室????，作者：曦遠
