Ollama平替！LM Studio本地大模型調(diào)用實戰(zhàn)

JavaEdge1

發(fā)布于 2025-5-28 06:36

瀏覽

0收藏

0.前言

可像 Ollama 通過暴露本地端口，實現(xiàn)本地客戶端調(diào)用。

1.選擇模型

在 LM Studio 的 “開發(fā)者” 選項卡中選擇模型：

2.端口暴露

設(shè)置暴露的端口（默認(rèn)1234）：

Ollama平替！LM Studio本地大模型調(diào)用實戰(zhàn)-AI.x社區(qū)

啟用 CORS 后，可對接網(wǎng)頁應(yīng)用或其他客戶端工具。

3.啟動服務(wù)

點擊狀態(tài)選項卡：

控制臺會顯示運行日志和訪問地址：

2025-04-26 20:55:13  [INFO] 
[LM STUDIO SERVER] Success! HTTP server listening on port 1234
2025-04-26 20:55:13  [INFO] 
2025-04-26 20:55:13  [INFO] 
[LM STUDIO SERVER] Supported endpoints:
2025-04-26 20:55:13  [INFO] 
[LM STUDIO SERVER] -> GET http://localhost:1234/v1/models
2025-04-26 20:55:13  [INFO] 
[LM STUDIO SERVER] -> POST http://localhost:1234/v1/chat/completions
2025-04-26 20:55:13  [INFO] 
[LM STUDIO SERVER] -> POST http://localhost:1234/v1/completions
2025-04-26 20:55:13  [INFO] 
[LM STUDIO SERVER] -> POST http://localhost:1234/v1/embeddings
2025-04-26 20:55:13  [INFO] 
2025-04-26 20:55:13  [INFO] 
[LM STUDIO SERVER] Logs are saved into /Users/javaedge/.lmstudio/server-logs
2025-04-26 20:55:13  [INFO] 
Server started.

4.快速上手

4.1 快速ping

列出已加載并就緒的模型：

curl http://127.0.0.1:1234/v1/models/

Ollama平替！LM Studio本地大模型調(diào)用實戰(zhàn)-AI.x社區(qū)

這也是驗證服務(wù)器是否可訪問的一種有效方法！

4.2 聊天

這是一個類似調(diào)用OpenAI的操作，通過??curl???工具訪問??/v1/chat/completion??端點：

在Mac或Linux系統(tǒng)，可用任意終端運行
Windows系統(tǒng)用Git Bash

curl http://127.0.0.1:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-4-maverick-17b-128e-instruct",
    "messages": [ 
      { "role": "system", "content": "Always answer in rhymes." },
      { "role": "user", "content": "Introduce yourself." }
    ], 
    "temperature": 0.7, 
    "max_tokens": -1,
    "stream": true
  }'

該調(diào)用是“無狀態(tài)的”，即服務(wù)器不會保留對話歷史記錄。調(diào)用方有責(zé)任在每次調(diào)用時提供完整的對話歷史記錄。

流式傳輸 V.S 累積完整響應(yīng)

注意??"stream": true??（流式傳輸：開啟）參數(shù):

??true??（開啟）時，LM Studio會在預(yù)測出標(biāo)記（token）的同時將其逐一流式返回
如將此參數(shù)設(shè)置為??false??（關(guān)閉），在調(diào)用返回之前，完整的預(yù)測結(jié)果會被先累積起來。對于較長的內(nèi)容生成或者運行速度較慢的模型，這可能需要花費一些時間！

本文轉(zhuǎn)載自???JavaEdge???，作者：JavaEdge

標(biāo)簽

Ollama

Studio

本地大模型

贊

回復(fù)