1分鐘學會DeepSeek本地部署,小白也能搞定!
DeepSeek 是國內頂尖 AI 團隊「深度求索」開發的多模態大模型,具備數學推理、代碼生成等深度能力,堪稱"AI界的六邊形戰士"。
DeepSeek 身上的標簽有很多,其中最具代表性的標簽有以下兩個:
- 低成本(不挑硬件、開源)
- 高性能(推理能力極強、回答準確)
一、為什么要部署本地DeepSeek?
相信大家在使用 DeepSeek 時都會遇到這樣的問題:
圖片
這是由于 DeepSeek 大火之后訪問量比較大,再加上漂亮國大規模、持續的惡意攻擊,導致 DeepSeek 的服務器很不穩定。所以,這個此時在本地部署一個 DeepSeek 大模型就非常有必要了。
再者說,有些數據比較敏感,咱也不想隨便傳到網上去,畢竟安全第一嘛。這時候,本地大模型的優勢就凸顯出來了。它就在你自己的電腦上運行,完全不用擔心網絡問題,而且數據都在本地,隱私更有保障。而且,本地大模型可以根據你的需求進行定制,想怎么用就怎么用,靈活性超強!
二、怎么部署本地大模型?
在本地部署 DeepSeek 只需要以下三步:
- 安裝 Ollama。
- 部署 DeepSeek。
- 使用 DeepSeek:這里我們使用 ChatBox 客戶端操作 DeepSeek(此步驟非必須)。
Ollama、DeepSeek 和 ChatBox 之間的關系如下:
- Ollama 是“大管家”,負責把 DeepSeek 安裝到你的電腦上。
- DeepSeek 是“超級大腦”,住在 Ollama 搭建好的環境里,幫你做各種事情。
- ChatBox 是“聊天工具”,讓你更方便地和 DeepSeek 交流。
安裝Ollama
Ollama 是一個開源的大型語言模型服務工具。它的主要作用是幫助用戶快速在本地運行****大模型,簡化了在 Docker 容器內部署和管理大語言模型(LLM)的過程。
PS:Ollama 就是大模型屆的“Docker”。
Ollama 優點如下:
- 易于使用:即使是沒有經驗的用戶也能輕松上手,無需開發即可直接與模型進行交互。
- 輕量級:代碼簡潔,運行時占用資源少,能夠在本地高效運行,不需要大量的計算資源。
- 可擴展:支持多種模型架構,并易于添加新模型或更新現有模型,還支持熱加載模型文件,無需重新啟動即可切換不同的模型,具有較高的靈活性。
- 預構建模型庫:包含一系列預先訓練好的大型語言模型,可用于各種任務,如文本生成、翻譯、問答等,方便在本地運行大型語言模型。
Ollama 官網:https://ollama.com/
下載并安裝Ollama
下載地址:https://ollama.com/
圖片
用戶根據自己的操作系統選擇對應的安裝包,然后安裝 Ollama 軟件即可。
安裝完成之后,你的電腦上就會有這樣一個 Ollama 應用:
圖片
點擊應用就會運行 Ollama,此時在你電腦狀態欄就可以看到 Ollama 的小圖標,測試 Ollama 有沒有安裝成功,使用命令窗口輸入“ollama -v”指令,能夠正常響應并顯示 Ollama 版本號就說明安裝成功了,如下圖所示:
圖片
部署DeepSeek
Ollama 支持大模型列表:https://ollama.com/library
選擇 DeepSeek 大模型版本,如下圖所示:
圖片
DeepSeek版本介紹
模型參數規模 | 典型用途 | CPU 建議 | GPU 建議 | 內存建議 (RAM) | 磁盤空間建議 | 適用場景 |
1.5b (15億) | 小型推理、輕量級任務 | 4核以上 (Intel i5 / AMD Ryzen 5) | 可選,入門級 GPU (如 NVIDIA GTX 1650, 4GB 顯存) | 8GB | 10GB 以上 SSD | 小型 NLP 任務、文本生成、簡單分類 |
7b (70億) | 中等推理、通用任務 | 6核以上 (Intel i7 / AMD Ryzen 7) | 中端 GPU (如 NVIDIA RTX 3060, 12GB 顯存) | 16GB | 20GB 以上 SSD | 中等規模 NLP、對話系統、文本分析 |
14b (140億) | 中大型推理、復雜任務 | 8核以上 (Intel i9 / AMD Ryzen 9) | 高端 GPU (如 NVIDIA RTX 3090, 24GB 顯存) | 32GB | 50GB 以上 SSD | 復雜 NLP、多輪對話、知識問答 |
32b (320億) | 大型推理、高性能任務 | 12核以上 (Intel Xeon / AMD Threadripper) | 高性能 GPU (如 NVIDIA A100, 40GB 顯存) | 64GB | 100GB 以上 SSD | 大規模 NLP、多模態任務、研究用途 |
70b (700億) | 超大規模推理、研究任務 | 16核以上 (服務器級 CPU) | 多 GPU 并行 (如 2x NVIDIA A100, 80GB 顯存) | 128GB | 200GB 以上 SSD | 超大規模模型、研究、企業級應用 |
671b (6710億) | 超大規模訓練、企業級任務 | 服務器級 CPU (如 AMD EPYC / Intel Xeon) | 多 GPU 集群 (如 8x NVIDIA A100, 320GB 顯存) | 256GB 或更高 | 1TB 以上 NVMe SSD | 超大規模訓練、企業級 AI 平臺 |
例如,安裝并運行 DeepSeek:ollama run deepseek-r1:1.5b
圖片
使用DeepSeek
這里我們使用 ChatBox 調用 DeepSeek 進行交互,ChatBox 就是一個前端工具,用于方便的對接各種大模型(其中包括 DeepSeek),并且它支持跨平臺,更直觀易用。
ChatBox 官網地址:https://chatboxai.app/zh
點擊下載按鈕獲取 ChatBox 安裝包:
圖片
圖片
圖片
圖片
安裝完 Chatbox 之后就是配置 DeepSeek 到 Chatbox 了,如下界面所示:
圖片
圖片
圖片
使用 DeepSeek,如下圖所示:
圖片
三、擴展知識:本地DeepSeek集成Idea
安裝CodeGPT插件
圖片
配置Ollama
Ollama API 默認調用端口號:11434
檢查相應的配置,如下所示:
圖片
圖片
使用Ollama
圖片
四、優缺點分析
本地大模型的優缺點分析說完部署,我們來分析一下本地大模型的優缺點,好讓大家心里有個數。
優點
- 隱私性高:數據都在本地,不用擔心泄露問題,對于一些敏感數據處理來說,這是最大的優勢。
- 穩定性強:不受網絡影響,只要電腦不壞,模型就能穩定運行,不用擔心中途卡頓或者斷線。
- 可定制性強:可以根據自己的需求進行調整和優化,想讓它做什么功能就做什么功能,靈活性很高。
缺點
- 硬件要求高:大模型對電腦的性能要求不低,如果電腦配置不夠,可能會運行很卡,甚至跑不起來。
- 部署復雜:對于小白來說,一開始可能會覺得有點復雜,需要安裝各種東西,還得配置參數,不過只要按照教程來,其實也沒那么難。
- 維護成本高:如果模型出了問題,可能需要自己去排查和解決,不像在線工具,有問題直接找客服就行。
五、最后
小伙伴們,看完這些,是不是覺得本地大模型其實也沒那么可怕呢?其實只要按照步驟來,小白也能輕松搞定。動手做起來吧,說不定你就能發現更多好玩的功能,讓這個大模型成為你工作和學習的得力助手呢!要是你在部署過程中遇到什么問題,別忘了留言問我哦,我們一起解決!快去試試吧,開啟你的本地大模型之旅!