使用Docker Model Runner在本地運行Gemma 3，開發(fā)人員能夠實現私有且高效的GenAI開發(fā)——快速設置、離線推理和完全控制。

如今，對本地化開發(fā)生成式人工智能（GenAI）的需求正在快速增長。開發(fā)人員在自己的基礎設施上運行大型語言模型（LLM）能夠確保隱私性、靈活性和成本效益。隨著Gemma 3的發(fā)布及其與Docker Model Runner的無縫集成，開發(fā)人員可以完全在本地服務器上實驗、微調和部署GenAI模型。

本文將探討如何使用Docker在本地設置和運行Gemma 3，在不依賴基于云的推理服務的情況下釋放簡化的GenAI開發(fā)工作流程。

什么是Gemma 3？

Gemma 3是谷歌公司為負責任的人工智能開發(fā)而設計的輕量級、最先進的語言模型開源系列的一部分。它在性能與效率之間取得了平衡，使其適用于研究和生產應用。由于權重和架構針對微調和部署進行了優(yōu)化，它是開發(fā)人員構建定制LLM解決方案的首選。

為什么選擇 Docker Model Runner？

??Docker Model Runner??作為模型的包裝器，以創(chuàng)建受控環(huán)境，并具有以下優(yōu)勢：?

?簡化不同操作系統(tǒng)和硬件之間的設置。

?提供可重復的結果。

?如果可用，啟用GPU加速。

?支持本地推理，消除對外部API的依賴。

為什么本地生成人工智能是智能企業(yè)的未來？

隨著企業(yè)探索生成式人工智能（GenAI）的變革能力，向本地化開發(fā)的轉變正在加速。在本地或邊緣運行GenAI模型，可以為各行業(yè)帶來一系列戰(zhàn)略優(yōu)勢。以下是本地GenAI開發(fā)正在成為現代企業(yè)的重要考慮因素的原因：

1.成本效益和可擴展性

本地部署消除了通常與基于云的AI服務相關的每個令牌或每個請求的費用。這允許開發(fā)人員、數據科學家和研究人員進行實驗、微調和縮放模型，而不會產生不可預測的運營成本。

用例：例如，一個運行大規(guī)模模擬或微調開源LLM的研究實驗室可以在沒有云計費限制的情況下完成這些工作，從而加快創(chuàng)新。?

2.增強的數據隱私和合規(guī)性

使用本地GenAI，所有數據都保留在受控環(huán)境中，確保符合GDPR、HIPAA和CCPA等嚴格的數據保護法規(guī)。這在處理個人身份信息（PII）、專有內容或受監(jiān)管數據集時尤為重要。

用例：例如，一家醫(yī)療保健提供商可以使用本地GenAI生成臨床摘要或輔助診斷，而無需將患者數據暴露給第三方API。

3.減少延遲和離線可訪問性

本地執(zhí)行消除了對外部API的依賴，最大限度地減少了延遲，即使在低連接或氣隙環(huán)境中也能實現實時交互。

用例：自動駕駛汽車或工業(yè)物聯網設備可以利用本地GenAI進行實時決策和異常檢測，而無需持續(xù)的互聯網接入。?

4.完全控制、透明度和定制化

在本地運行模型使開發(fā)團隊在模型行為、定制化和生命周期管理方面具有完全的自主權。這使組織能夠檢查模型輸出、應用治理，并根據特定的業(yè)務需求定制推理管道。

用例：例如一家金融機構可以對GenAI模型進行微調，以符合其內部合規(guī)性策略，同時保持對推理邏輯的完全可審計性和控制。

5.更強的彈性和可用性

使用本地GenAI，企業(yè)不會受到第三方服務的停機時間或速率限制問題的影響。這種彈性對于任務關鍵型工作負載至關重要。

用例：防御系統(tǒng)或災難響應單位可以部署基于GenAI的通信工具或翻譯工具，這些工具可以在孤立的高風險環(huán)境中可靠地工作。

來自Docker @ai/gemma3的可用模型變體

Gemma 3 4B模型提供了多種功能，使其成為跨行業(yè)各種應用的理想解決方案。以下是它的一些關鍵用例及其詳細解釋：

1.文本生成

Gemma 3 4B模型擅長生成從創(chuàng)意到技術寫作的各種形式的書面內容。它可以：

?詩歌和劇本：創(chuàng)作原創(chuàng)作品，包括詩歌、對話和劇本。

?代碼生成：通過編寫代碼片段或整個功能來協助開發(fā)人員，簡化軟件開發(fā)。

?營銷文案：制作引人注目的營銷內容，例如廣告、社交媒體帖子和產品描述。

?電子郵件草稿：自動化撰寫電子郵件以用于商務溝通，節(jié)省時間并確保采用專業(yè)語氣。

這一功能對于尋求提高生產力的內容創(chuàng)建者、營銷人員和開發(fā)人員尤其有價值。

2.聊天機器人和對話式人工智能

Gemma 3 4B模型可以為虛擬助理和客戶服務機器人提供動力，提供自然且響應迅速的對話體驗。其自然語言理解（NLU）允許：

?虛擬助手：啟用智能助手，可以幫助用戶完成各種任務，例如日程安排、提醒和回答查詢。

?客戶服務機器人：處理客戶查詢、排除故障并提供個性化響應，減少人工干預的需要，提高服務效率。

這使得它成為旨在提供增強客戶支持和參與的企業(yè)的重要工具。

3.文本摘要

Gemma 3 4B模型能夠將大量文本（如報告、研究論文和文章）總結成簡潔易懂的版本。它可以：

?提取要點和主題，同時保留基本信息。

?通過為忙碌的專業(yè)人士提供摘要來提高可訪問性，使他們能夠快速掌握關鍵見解。

這個功能在學術、研究、法律和商業(yè)等行業(yè)中很有價值，在這些行業(yè)中，總結復雜的文檔對于效率和決策至關重要。

4.圖像數據提取

Gemma 3 4B模型的功能擴展到解釋可視化數據并將其轉換為有意義的文本。這個過程包括：

?視覺解釋：分析圖像、圖表或示意圖，以文本形式提取和描述其內容。

?摘要：提供可視化數據的上下文描述或解釋，使其可用于基于文本的交流或進一步分析。

這在醫(yī)療保健（例如，解釋醫(yī)學圖像）、制造業(yè)（例如，分析產品缺陷）和法律行業(yè)（例如，總結視覺證據）等領域特別有用。

5.語言學習工具

Gemma 3 4B模型可以通過以下方式幫助學習者和教育者提高語言技能：

?語法糾正：自動檢測和糾正書面文本中的語法錯誤。

?互動式寫作練習：讓學習者參與到寫作練習中，通過該模型進行糾正和提高，培養(yǎng)更好的寫作習慣和技能。

這個應用程序對語言學習者、教育工作者和任何尋求提高寫作水平的人都很有價值。

6.知識探索

對于研究人員和知識工作者來說，Gemma 3 4B模型可以通過以下方式充當智能助手：

?總結研究：將復雜的學術論文、文章或報告濃縮為易于理解的摘要。

?回答問題：為特定的研究查詢提供詳細、準確的答案，提高知識探索的效率。

這種能力對學術研究人員、技術領域的專業(yè)人員以及從事持續(xù)學習和知識發(fā)展的任何人都特別有益。

分步指南：使用Docker Model Runner運行Gemma 3

Docker Model Runner提供了與OpenAI兼容的API接口，實現了AI模型的無縫本地執(zhí)行。從其??版本4.40.0??開始，它已經原生集成到macOS的Docker Desktop中，允許開發(fā)人員在本地運行模型并與之交互，而無需依賴外部API。?

1.安裝 Docker Desktop

確保在系統(tǒng)上安裝并運行Docker。可以從??此處??獲取。?

2.拉取Model Runner鏡像

1 docker pull gcr.io/deeplearning-platform-release/model-runner
2 docker desktop enable model-runner --tcp 12434
3

通過Docker Desktop啟用DockerDocker Model Runner：

（1）在設置中導航到“開發(fā)中的功能”選項卡。

（2）在“實驗性功能”選項卡下，選擇“訪問實驗性功能 ”。

（3）選擇“應用并重啟”。

（4）退出并重新打開Docker Desktop以確保更改生效。

（5）在Docker Desktop中打開“設置”視圖。

（6）導航到“開發(fā)中的功能”選項卡。

（7）在“測試”選項卡中，選擇啟用Docker Model Runner設置。

3.如何運行這個AI模型

可以使用以下的docker命令從Docker Hub 提取模型。

1 docker model status
2 docker model pull ai/gemma3

要運行模型，請執(zhí)行以下操作：

1 docker model pull ai/gemma3

輸出：

1 Downloaded: 2.5 GB
2 Model ai/gemma3 pulled successfully

在設置完成之后，Docker Model Runner會提供一個可在 http://localhost:12434/engines/v1 訪問的、與 OpenAI兼容的 API。

將使用??評論處理系統(tǒng)???（這是一個Node.js應用程序）展示如何利用 Gemma 3 處理用戶針對一款名為“Jarvis”（由 Docker Captains 開發(fā)）的虛構人工智能助手所發(fā)表的評論。

生成上下文響應

Gemma 3被用來對用戶評論做出禮貌和品牌支持的回應。以下提示邏輯用于確保一致性和語氣：

1 import openai
2
3 # Configure the OpenAI client
4 openai.api_key = 'your-api-key'
5
6 # Define the comment and context (you can replace these with your actual variables)
7 comment_text = "This is a sample comment."
8 comment_category = "positive" # or 'negative', 'neutral', etc.
9 features_context = "Feature context goes here."
10
11 # Create the API call
12 response = openai.ChatCompletion.create(
13 model=config['openai']['model'],
14 messages=[
15 {
16 "role": "system",
17 "content": """You are a customer support representative for an AI assistant called Jarvis. Your task is to generate polite, helpful responses to user comments.
18
19 Guidelines:
20 1. Show empathy and acknowledge the user's feedback.
21 2. Thank the user for their input.
22 3. Express appreciation for positive comments.
23 4. Apologize and assure improvements for negative comments.
24 5. Acknowledge neutral comments with a respectful tone.
25 6. Mention that feedback will be considered for future updates when applicable.
26 7. Keep responses concise (2-4 sentences) and professional.
27 8. Avoid making specific promises about feature timelines or implementation.
28 9. Sign responses as "Anjan Kumar(Docker Captain)"."""
29 },
30 {
31 "role": "user",
32 "content": f'User comment: "{comment_text}"\n'
33 f'Comment category: {comment_category or "unknown"}\n\n'
34 f'{features_context}\n\n'
35 'Generate a polite and helpful response to this user comment.'
36 }
37 ],
38 temperature=0.7,
39 max_tokens=200
40 )
41
42 # Extract and print the response
43 print(response['choices'][0]['message']['content'])
44

對于正面評論：

1 Thank you for your kind words about my Blog! We're thrilled to hear that you find it user-friendly and helpful for learning purpose – this aligns perfectly with my goals. Your suggestion for more visual customization options is greatly appreciated, and I'll certainly take it into account as I work on future improvements to future Blogs.
2 
3 Anjan Kumar(Docker Captain)

對于負面評論：

1 Thank you for your feedback, – I truly appreciate you taking the time to share your experience with me Anjan Kumar(Docker Captain). I sincerely apologize for the glitches and freezes you’ve encountered; I understand how frustrating that can be. Your input is extremely valuable, and I’m actively working on enhancing my blogs to improve overall reliability and user experience.
2
3 Anjan Kumar(Docker Captain)

結論

通過將Gemma 3的功能與Docker Model Runner相結合，構建了一個強調性能、隱私和開發(fā)者自由的簡化本地生成式人工智能工作流程。這一設置使開發(fā)人員能夠高效地構建和完善評論處理系統(tǒng)，并在這一個過程中揭示了幾個戰(zhàn)略優(yōu)勢：

?增強數據安全性：所有處理都在本地進行，確保敏感信息對外泄露。

?可預測的性能：消除對外部API正常運行時間或互聯網可靠性的依賴。

?可定制的運行時環(huán)境：根據基礎設施、工具和偏好定制部署。

?無供應商鎖定：完全擁有模型和數據，不受專有平臺的限制。

?跨團隊可擴展：跨環(huán)境輕松復制，實現一致的測試和協作。

而這僅僅是開始。隨著下一代人工智能模型變得更加強大、高效和輕量級，在本地部署它們的能力將帶來前所未有的機遇。無論是構建企業(yè)級人工智能應用程序，設計具有嚴格隱私要求的解決方案，還是探索前沿的自然語言處理（NLP）技術，在自己的基礎設施上運行模型都可以確保完全控制、適應性和創(chuàng)新。

隨著開源基礎模型和以開發(fā)人員為中心的工具的快速發(fā)展，人工智能的未來正朝著“邊緣化”方向邁進——各種規(guī)模的團隊都能夠在不依賴集中云服務的情況下構建、迭代和擴展強大的人工智能系統(tǒng)。本地化部署人工智能不僅僅為了獲得便利，并且正在逐漸成為智能應用領域的一項重要戰(zhàn)略優(yōu)勢。

原文標題：??Gemma 3: Unlocking GenAI Potential Using Docker Model Runner??，作者：Anjan Kumar Ayyadapu