免費GPU算力部署DeepSeek-R1 32B
前言
DeepSeek-R1發布最新版本DeepSeek-R1-0528,顯著提升了模型的思維深度與推理能力,在數學、編程與通用邏輯等多個基準測評中取得了當前國內所有模型中首屈一指的優異成績,并且在整體表現上已接近其他國際頂尖模型,如 o3 與 Gemini-2.5-Pro。另外,API接口還增加了Function Calling和JsonOutput 的支持。
DeepSeek-R1團隊已經證明,大模型的推理模式可以蒸餾到小模型中,與通過強化學習在小模型上發現的推理模式相比,性能更優。ollma上可以下載不同參數尺寸(1.5B到70B)的蒸餾模型,參數越大,性能越好。
飛槳AI Studio每日免費提供GPU算力資源,具體配置如下:
- V100 16GB顯存:可以跑14B尺寸模型,每日免費使用4小時。
- VT100 32GB顯存:可以跑32B尺寸模型,每日免費使用2.7小時。
創建項目
打開https://aistudio.baidu.com/account
,點擊右上方“登錄”按鈕,用百度賬號登錄即可。
打開https://aistudio.baidu.com/my/project
,點擊右上方“創建項目”,選擇“Notebook”,會彈出下方的對話框。填寫“項目名稱”,點擊創建。
在打開的頁面中,點擊上面的“未運行”。
在彈出的頁面中,選擇“基礎版”運行環境。“基礎版”運行環境免費不限時,用于下載ollama和deepseek模型。等下載完后再切換到GPU環境。
環境啟動后,點擊右上角的“專業開發”,進入Codelab IDE界面。
Codelab IDE界面如下:
安裝ollama
設置目錄
在Codelab IDE界面中,選擇“文件”=》“新建”=》“終端”,進入shell界面,執行以下命令(每次啟動環境都要執行
),以便ollama下載的模型能保存在~/work/.ollama,這樣才能持久化保存。
cd ~/work && mkdir -p .ollama && ln -sfn ~/work/.ollama ~/
下載ollama
飛槳AI Studio無法訪問github,需通過代理網站ghproxy.cn進行下載。命令如下:
cd ~/work
wget -c https://ghproxy.cn/https://github.com/ollama/ollama/releases/download/v0.8.0/ollama-linux-amd64.tgz
tar zxf ollama-linux-amd64.tgz
下載deepseek模型
啟動ollama服務。
~/work/bin/ollama serve
新建終端,輸入命令下載deepseek-r1 32b模型。
~/work/bin/ollama pull deepseek-r1:32b
如果發現下載速度低于1MB/s,可嘗試重新執行pull(但不要重啟ollama serve的進程)。
啟動deepseek
切換到GPU環境
打開https://aistudio.baidu.com/my/project,停止運行中的CPU環境 。
點擊項目,在項目詳情頁面中,點擊上面的“未運行”。
在彈出的頁面中,選擇“V100 32GB”運行環境。每天免費獲得8點算力,可用2.7小時,昨天用剩的算力可以結余到今天使用。
因為切換環境,系統需要同步文件,在Codelab IDE右下角會有同步進度顯示。
啟動ollama服務
cd ~/work && mkdir -p .ollama && ln -sfn ~/work/.ollama ~/ && ~/work/bin/ollama serve
啟動DeepSeek
新建終端,輸入以下命令啟動deepseek。
~/work/bin/ollama run deepseek-r1:32b
運行成功后就可以開始體驗deepseek的魅力了。
測試
下圖為經典問題:9.9和9.11比較,哪個更大。
總結
本文介紹利用飛槳AI Studio每日免費提供GPU算力資源部署DeepSeek-R1 32B。進一步,還可以通過frp內網穿透讓windows部署的Dify連接飛槳服務器上部署的ollama。另外,我們也可以利用GPU算力學習其它知識:模型微調,模型訓練,深度學習訓練等。