春節(jié)以后這一個(gè)半月，算了下我前后也做了 20+的企業(yè)知識(shí)庫(kù)落地咨詢(xún)，其中無(wú)論是線(xiàn)上還是線(xiàn)下，被問(wèn)到最多的一個(gè)問(wèn)題是：

要快速落地本地部署的知識(shí)庫(kù)，應(yīng)該購(gòu)買(mǎi)什么硬件？

要回答這個(gè)問(wèn)題，其實(shí)需要明確很多前置定語(yǔ)，自購(gòu) GPU 硬件、大模型一體機(jī)、以及選擇云端 GPU 都有各自適用的情形。這篇試圖說(shuō)清楚三種部署方式的主要特點(diǎn)對(duì)比，并在文末給些選擇建議參考。

以下，enjoy:

1、自購(gòu) GPU 硬件

以 NVIDIA GeForce RTX 4090 GPU (24GB 顯存)為例，我接觸到的企業(yè)方里不乏有些已經(jīng)屯了幾塊，但是大部分都在吃灰，主要這玩意配置起來(lái)有些小門(mén)檻，下面結(jié)合兩張 4090 部署 DeepSeek R1 qwen 32B 為例做個(gè)簡(jiǎn)要的部署流程介紹，供參考：

1.1 硬件配置

顯卡

使用兩張 NVIDIA RTX 4090 顯卡（單卡 24GB 顯存），需要通過(guò)張量并行實(shí)現(xiàn)顯存共享與計(jì)算加速。

推薦 PCIe 4.0 x8/x8 通道拆分，確保雙卡間數(shù)據(jù)交互帶寬充足。

主板與 CPU

主板需支持雙 PCIe 4.0 插槽（如 Z790/Z890 芯片組）。

CPU 建議選擇多核型號(hào)（如 Intel i9-14900K 或 AMD Ryzen 9 7950X），以處理數(shù)據(jù)加載與多任務(wù)調(diào)度。

內(nèi)存與存儲(chǔ)

內(nèi)存至少 64GB DDR5（推薦 128GB），提升模型加載效率。

存儲(chǔ)需 1TB NVMe SSD，用于存放模型文件（約 20-40GB）。

電源與散熱

電源建議 1300W 以上（單卡 TDP 450W，雙卡+系統(tǒng)需預(yù)留余量）。

配備高效風(fēng)冷或水冷系統(tǒng)，確保長(zhǎng)時(shí)間運(yùn)行穩(wěn)定性。

1.2 軟件環(huán)境配置

操作系統(tǒng)推薦選擇 Ubuntu 22.04 LTS，或者 Windows 11（但是需要 WSL2 支持）。安裝 NVIDIA 驅(qū)動(dòng)（≥535 版本）和 CUDA Toolkit 12.2，支持 Ampere 架構(gòu)優(yōu)化。

另外因?yàn)槭请p卡，所以要驗(yàn)證下驅(qū)動(dòng)，nvidia-smi 顯示雙卡狀態(tài)，nvcc -V 確認(rèn) CUDA 版本。

安裝 PyTorch（≥2.4.0）與 CUDA 適配版本， vLLM版本≥0.5.5。

1.3 模型部署與 vLLM 配置

從HuggingFace或魔塔社區(qū)下載 DeepSeek R1-32B-GPTQ-Int4 量化模型：

huggingface-cli download --resume-download DeepSeek/DeepSeek-R1-32B-GPTQ-Int4 --local-dir ./DeepSeek-R1-32B

使用以下命令啟動(dòng)雙卡并行推理服務(wù)：

vllm serve ./DeepSeek-R1-32B \
    --tensor-parallel-size 2 \
    --host 0.0.0.0 \
    --port 6006 \
    --served-model-name DeepSeek-R1-32B \
    --gpu-memory-utilization 0.95 \
    --max-model-len 4096 \
    --quantization gptq

關(guān)鍵參數(shù)說(shuō)明：

tensor-parallel-size 2：?jiǎn)⒂秒p卡張量并行。

gpu-memory-utilization 0.95：顯存利用率調(diào)至 95%，避免 OOM。

quantization gptq：?jiǎn)⒂?4-bit GPTQ 量化，顯存需求降至約 22GB/卡。

1.4 并發(fā)優(yōu)化

實(shí)測(cè)雙卡 RTX 4090 在 4-bit 量化下，生成吞吐量可達(dá) 60-80 tokens/s（單卡約 35-45 tokens/s）。可以根據(jù)顯存和請(qǐng)求長(zhǎng)度調(diào)整--max-num-seqs（默認(rèn) 256），單卡可支持 10-20 并發(fā)請(qǐng)求。使用 Nginx 反向代理可以實(shí)現(xiàn)多實(shí)例負(fù)載均衡，從而提升整體吞吐。

RAG 框架部署部分，為了節(jié)省篇幅就不贅述了，大家自行去各個(gè)產(chǎn)品官網(wǎng)去看，基本就是 git+docker compose 的一鍵操作。

自購(gòu) GPU門(mén)檻主要在于需要自行解決安裝配置、驅(qū)動(dòng)兼容、散熱等問(wèn)題，需要額外承擔(dān)電費(fèi)和維護(hù)成本，當(dāng)然好處就是自由度高，可以根據(jù)需求自定義硬件配置，也不需要擔(dān)心數(shù)據(jù)隱私和安全問(wèn)題。

2、大模型一體機(jī)

上面說(shuō)了自購(gòu)硬件的各種配置操作，在一體機(jī)這里倒不是個(gè)問(wèn)題。目前市場(chǎng)上也有很多款專(zhuān)門(mén) DeepSeek 設(shè)計(jì)的一體機(jī)，我也偶爾會(huì)收到些一體機(jī)廠商的合作溝通。

這些都預(yù)裝了軟硬件環(huán)境，有針對(duì)國(guó)產(chǎn)芯片的優(yōu)化版本，比如基于華為昇騰、百度昆侖芯等，價(jià)格范圍一般中低端配置在幾萬(wàn)塊，中高端就幾十萬(wàn)水平，具體取決于品牌、硬件配置和功能需求。

好處很明顯，就是開(kāi)箱即用，內(nèi)置了多種應(yīng)用場(chǎng)景，如語(yǔ)音識(shí)別、圖像識(shí)別、自然語(yǔ)言處理等，不需要復(fù)雜配置即可快速上手，廠商通常提供統(tǒng)一的管理界面。

劣勢(shì)除了價(jià)格外，就是無(wú)法根據(jù)企業(yè)需求靈活升級(jí)性能，一般只能使用廠商提供的模型和工具。但有一說(shuō)一，這種確實(shí)比較缺乏專(zhuān)業(yè) IT 團(tuán)隊(duì)進(jìn)行配置和維護(hù)的企業(yè)。

3、云端 GPU

3.1 6 大 GPU 廠商

云端 GPU 部署是指租用云服務(wù)商(如阿里云、騰訊云、AWS 等)提供的 GPU 實(shí)例，來(lái)部署大模型和 RAG 框架。根據(jù)實(shí)際使用的資源按需付費(fèi)，特別適合初學(xué)者或短期 POC 驗(yàn)證。下面貼了兩張全球六大云服務(wù)商的地域分布和實(shí)例類(lèi)型的對(duì)比，大家做個(gè)參考。

以上兩張圖片來(lái)自fastone官網(wǎng)

價(jià)格方面根據(jù)實(shí)例配置收費(fèi)差別很大，對(duì)于初期測(cè)試 RTX 4090 為例也就夠用了，但是很遺憾的是目前阿里云、騰訊云等主流平臺(tái)主要提供 NVIDIA A100、V100、T4 等專(zhuān)業(yè)計(jì)算卡，尚未推出基于 RTX 4090 的實(shí)例。以下貼了張從阿里云官網(wǎng)找的主流實(shí)例類(lèi)型和價(jià)格，大家做個(gè)參考：

3.2 glows.ai

為了更加便宜的進(jìn)行測(cè)試，這里推薦個(gè) glows.ai 平臺(tái)（不是廣告）可以選擇 4090 的實(shí)例，而且很神奇的是，其中居然有個(gè) RAGFlow 實(shí)例已預(yù)裝好相關(guān)環(huán)境和框架，主打一個(gè)開(kāi)箱即用。

價(jià)格方面，每小時(shí)需要 3.9 個(gè) credits（ RTX 4090 GPU (24GB 顯存，10 個(gè) vCPU，48GB 內(nèi)存，100GB 存儲(chǔ)空間）。我充值了 10 刀有 100 個(gè) credits，差不多 2.8 元每小時(shí)，這個(gè)價(jià)格很適合個(gè)人或者小企業(yè)來(lái)進(jìn)行短期測(cè)試，我現(xiàn)在在給一些企業(yè)做 demo 的時(shí)候，也是在上面進(jìn)行操作的。

https://glows.ai/invite/Glows-69kjxn2p （注冊(cè)鏈接，無(wú)免費(fèi)額度）

（注：第三方小廠商的穩(wěn)定性與技術(shù)支持，大家自行測(cè)評(píng)）

關(guān)于使用方式上，最直接的是打開(kāi)提供的網(wǎng)頁(yè)鏈接訪(fǎng)問(wèn) ragflow 的網(wǎng)站，這個(gè)效果和本地使用 docker 部署后使用 localhost 打開(kāi)是一樣的用法，唯一不同的就是確實(shí)會(huì)比自己集成顯卡的電腦解析文檔快些。

不過(guò)還是推薦使用 romote ssh 插件進(jìn)行連接，這樣就可以在本地通過(guò) ragflow 的官方 python api 或者 http api 編寫(xiě)一些自定義的處理腳本，從而更好的實(shí)現(xiàn)行業(yè)特定的分塊策略，以及專(zhuān)業(yè)領(lǐng)域的檢索優(yōu)化。

（此處插播個(gè)廣告，歡迎去試下我在知識(shí)星球發(fā)布的部分腳本。p.s.下周會(huì)建會(huì)員群交流日常實(shí)踐）

如果在做好前兩項(xiàng)的基礎(chǔ)上，可以再進(jìn)一步探索嵌入模型的對(duì)比，上下文構(gòu)建等。當(dāng)然，具體情況還需要根據(jù)實(shí)際項(xiàng)目特點(diǎn)和資源限制來(lái)調(diào)整。

需要說(shuō)明的是，在云端 GPU 這種 RAG 部署方式下，我沒(méi)有展開(kāi)介紹開(kāi)源模型的部署過(guò)程，這是以為既然選擇了云端測(cè)試就更沒(méi)必要做 LLM 的單獨(dú)部署，如果后續(xù)考慮在本地部署 DeepSeek-R1-Distill-Qwen-32B（目前接觸企業(yè)的主流選擇），那就在云端測(cè)試環(huán)節(jié)也直接調(diào)用這個(gè) LLM 的 API 即可。

我主要在用的是 siliconflow 這個(gè)平臺(tái)，大家可以做個(gè)參考。https://cloud.siliconflow.cn/models?target=deepseek-ai/DeepSeek-R1-Distill-Qwen-32B 。 當(dāng)然，Qwen 系列的 QwQ-32B 也可以同步對(duì)比下看看。

另外，對(duì)于云端 GPU 的測(cè)試方案，當(dāng)想要釋放云端資源停止計(jì)費(fèi)時(shí)，有幾種方法可以保存代碼和文件。最簡(jiǎn)單的就是在 VS Code 中，直接從遠(yuǎn)程文件資源管理器中將文件拖放到本地窗口。當(dāng)然，如果項(xiàng)目已經(jīng)使用 Git 管理，只需確保所有更改都已提交并推送到遠(yuǎn)程倉(cāng)庫(kù)。另外，Glows.ai 也提供了"Snapshot"功能，在釋放實(shí)例前創(chuàng)建快照，下次可以從快照快速恢復(fù)環(huán)境。

4、結(jié)語(yǔ)

選擇 RAG 系統(tǒng)的部署方式?jīng)]有一刀切的標(biāo)準(zhǔn)答案，需要企業(yè)根據(jù)自身的業(yè)務(wù)需求、技術(shù)能力、預(yù)算情況和安全合規(guī)要求綜合考量。

• 對(duì)于對(duì)數(shù)據(jù)安全要求很高、長(zhǎng)期使用且有 IT 團(tuán)隊(duì)的企業(yè)，自購(gòu) GPU 硬件可能是理想選擇；
• 但對(duì)于技術(shù)能力有限但預(yù)算充足的企業(yè)，大模型一體機(jī)提供了便捷的解決方案；
• 而對(duì)于初創(chuàng)企業(yè)、需求波動(dòng)大或短期項(xiàng)目，云端 GPU 服務(wù)則提供了最靈活的選擇。

Anyway，個(gè)人建議先從小規(guī)模云服務(wù)開(kāi)始做 POC 驗(yàn)證，RAG 各個(gè)核心組件的調(diào)優(yōu)本也需要花點(diǎn)功夫去適配業(yè)務(wù)場(chǎng)景，完成初步調(diào)試后先在企業(yè)內(nèi)部做小范圍試點(diǎn)，隨著業(yè)務(wù)的成熟和規(guī)模的擴(kuò)大，再考慮遷移到更符合長(zhǎng)期戰(zhàn)略的部署方式。