本文主要來測試一下ollama的高并發能力。

具體配置如下：

一、Ollama默認參數執行

我們打開4個窗口，然后分別讓DeepSeek “給我講一個笑話” ，看下不同窗口的答題順序。

通過答題順序可以看到，在不進行參數設置時，模型是一個一個執行。這樣就說明，默認參數下，Ollama并不支持高并發，它會逐個回復我們的請求。

二、調整Ollama高并發參數

在ollama內，有兩個參數與高并發有關分別是：

OLLAMA_MAX_LOADED_MODELS：每個模型將同時處理的最大并行請求數，也就是能同時響應幾個LLM。

至于應用場景的話，就是我們可以同時在聊天頁面調用兩個LLM同時聊天，看看不同的LLM會有怎樣不同的響應。

當然，這樣設置后，不同的用戶也可以在同一時間請求不同的模型。

OLLAMA_NUM_PARALLEL：每個模型將同時處理的最大并行請求數，也就是能同時回復多少個LLM。

這個參數對于高并發非常重要，如果你部署好了Ollama，假如有10個人同時請求了你的LLM，如果一個一個回答，每個模型回復10秒鐘，那輪到第10個人將會在1分多種后，對于第10個人來說是不可接受的。

以上兩個參數應根據自己的硬件條件自行設置。

高并發測試：

我們將以上兩個參數添加到電腦的環境變量內，均設置為4。

OLLAMA_MAX_LOADED_MODELS  4
OLLAMA_NUM_PARALLEL 4

設置好后，確認環境變量并重啟Ollama，我們來看一下效果。

可以看到，在設置并發數為4之后，模型就能同時響應4個用戶的請求。

一般來說，對于中小型的部署，可以采用Ollam當作底座，只需要部署多個服務器，通過反向代理與負載均衡即可實現。

如果要面對更多的并發請求，不建議使用Ollama當作底座，應采用VLLM進行部署。