Ollama—— 這是一個專為本地部署優化的 AI 模型。Ollama 在模型大小、性能和部署靈活性等方面都有非凡的表現，與傳統云端部署相比，它可以輕松運行在普通的臺式電腦或筆記本電腦上。這無疑是 AI 大模型的一次重大突破！

接下來，讓我們一起來了解Ollama的更多細節：Windows基于Ollama部署本地AI大模型

一、大模型工具Ollama介紹

• 官網地址：https://www.ollama.com/

圖片

• Ollama是一個用于部署和運行各種開源大模型的工具；
• Ollama它能夠幫助用戶快速在本地運行各種大模型，極大地簡化了大模型在本地運行的過程；
• 用戶通過執行幾條命令就能在本地運行開源大模型，如Llama 2等；
• 綜上，Ollama是一個大模型部署運行工具，在該工具里面可以部署運行各種大模型，方便開發者在本地搭建一套大模型運行環境；

 二、Ollama工具下載

下載地址：https://ollama.com/download

圖片

注意：Ollama的運行會受到所使用模型大小的影響

• 例如：運行一個7 B（70億參數）的模型至少需要8GB的可用內存(RAM)，而運行一個13 B（130億參數）的模型需要16GB的內存，33 B（330億參數）的模型需要32GB的內存；

• 需要考慮有足夠的磁盤空間，大模型的文件大小可能比較大，建議至少為Ollama和其模型預留50GB的磁盤空間；

• 性能較高的CPU可以提供更好的運算速度和效率，多核處理器能夠更好地處理并行任務，選擇具有足夠核心數的CPU；

• 顯卡(GPU)：Ollama支持純CPU運行，但如果電腦配備了NVIDIA GPU，可以利用GPU進行加速，提高模型的運行速度和性能；

三、Ollama工具安裝

點擊OllamaSetup.exe安裝：

圖片

按照提示2步即可：

圖片

圖片

安裝完成后測試：ollama --version。

圖片

四、Ollama工具拉取大模型運行。

圖片

Ollama拉取運行。

圖片

Windows查看大模型端口：

netstat -ano | findstr 11434。

圖片

默認Ollama API會監聽11434端口，可以使用命令進行查看。

圖片

成功！！！

Ollama 的出現為我們帶來了全新的AI應用可能性。憑借其出色的本地部署能力和廣泛的AI功能，Ollama 必將成為開發者和普通用戶的最愛。