譯者 | 晶顏
審校 | 重樓
可擴展的LLM應用程序對于模型在生產環節輸出可執行成果至關重要。
以GPT-4為代表的大型語言模型（LLM）革新了人工智能的發展格局，在自然語言處理、對話式人工智能及內容創作領域實現新突破，其影響力廣泛滲透至各個行業，涵蓋聊天機器人與虛擬助理賦能、文檔分析自動化以及客戶參與度提升等方面。
盡管LLM潛力巨大，但在實際應用場景中實現高效部署仍面臨諸多獨特挑戰。這些模型運行依賴大量計算資源，同時需具備無縫擴展性與高效流量管理能力，以滿足生產環境的要求。
這就是Kubernetes發揮作用的地方。作為公認的領先容器編排平臺，Kubernetes可以提供一個動態可靠的框架，用于在云原生生態系統中管理和擴展基于LLM的應用程序。Kubernetes處理容器化工作負載的能力，使其成為各組織在不犧牲性能與靈活性前提下實施AI解決方案的關鍵工具。
本指南將以分步形式，詳細介紹運用Kubernetes部署與擴展基于LLM應用程序的全流程。深入理解人工智能應用程序的有效擴展方法，是區分研究環境模型與生產環境中能輸出可執行成果模型的關鍵所在。我們將圍繞LLM應用程序容器化、部署至Kubernetes、配置自動擴展以應對波動需求，以及管理用戶流量實現最佳性能等方面展開闡述。
本指南致力于將前沿人工智能技術轉化為推動組織創新的實用、可擴展引擎。
先決條件
在開始本教程之前，請確保你具備以下條件：
- Kubernetes基礎知識：必須熟悉kubectl、部署、服務和pod相關概念及操作。
- Docker環境：完成Docker安裝，并在系統中完成配置。
- Kubernetes集群：在本地機器（如minikube）或云端（AWS彈性Kubernetes服務、谷歌Kubernetes引擎或微軟Azure Kubernetes服務）完成Kubernetes集群的安裝與運行。
- Python環境配置：在Python環境中安裝OpenAI和Flask，用于創建LLM應用程序。
安裝必要的Python依賴項：
pip install openai flask步驟1：創建LLM驅動的應用程序
我們將首先構建一個簡單的基于Python的API，用于與LLM（例如，OpenAI的GPT-4）進行交互。
應用程序代碼
創建一個名為app.py的文件：
from flask import Flask, request, jsonify
import openai
import os
# Initialize Flask app
app = Flask(__name__)
# Configure OpenAI API key
openai.api_key = os.getenv("OPENAI_API_KEY")
@app.route("/generate", methods=["POST"])
def generate():
try:
data = request.get_json()
prompt = data.get("prompt", "")
# Generate response using GPT-4
response = openai.Completion.create(
model="text-davinci-003",
prompt=prompt,
max_tokens=100
)
return jsonify({"response": response.choices[0].text.strip()})
except Exception as e:
return jsonify({"error": str(e)}), 500
if __name__ == "__main__":
app.run(host="0.0.0.0", port=5000)步驟2：將應用程序容器化
要將應用程序部署到Kubernetes，我們需要將其打包到Docker容器中。
Dockerfile
在與app.py相同的目錄下創建一個Dockerfile：
# Use an official Python runtime as the base image
FROM python:3.9-slim
# Set the working directory
WORKDIR /app
# Copy application files
COPY app.py /app
# Copy requirements and install dependencies
RUN pip install flask openai
# Expose the application port
EXPOSE 5000
# Run the application
CMD ["python", "app.py"]步驟3：構建和推送Docker鏡像
構建Docker鏡像并將其推送到容器注冊表（如Docker Hub）。
# Build the image
docker build -t your-dockerhub-username/llm-app:v1 .
# Push the image
docker push your-dockerhub-username/llm-app:v1步驟4：將應用程序部署到Kubernetes
接下來，我們需要創建一個Kubernetes部署和服務來管理和公開LLM應用程序。
部署YAML
創建一個名為deploy .yaml的文件：
apiVersion: apps/v1
kind: Deployment
metadata:
name: llm-app
spec:
replicas: 3
selector:
matchLabels:
app: llm-app
template:
metadata:
labels:
app: llm-app
spec:
containers:
- name: llm-app
image: your-dockerhub-username/llm-app:v1
ports:
- containerPort: 5000
env:
- name: OPENAI_API_KEY
valueFrom:
secretKeyRef:
name: openai-secret
key: api-key
---
apiVersion: v1
kind: Service
metadata:
name: llm-app-service
spec:
selector:
app: llm-app
ports:
- protocol: TCP
port: 80
targetPort: 5000
type: LoadBalancerAPI密鑰密碼
創建一個Kubernetes密碼（secret）來安全地存儲OpenAI API密鑰：
kubectl create secret generic openai-secret --from-literal=api-key="your_openai_api_key"步驟5：應用部署和服務
將應用程序部署到Kubernetes集群：
kubectl apply -f deployment.yaml
Verify the deployment:
kubectl get deployments
kubectl get pods
kubectl get services服務運行后，請注意外部IP地址（如果使用云提供商）或NodePort（如果使用minikube）。
步驟6：配置自動縮放
Kubernetes Pod水平自動縮放器（HPA）允許你根據CPU或內存利用率縮放Pod。
應用HPA
kubectl autoscale deployment llm-app --cpu-percent=50 --min=3 --max=10檢查HPA狀態：
kubectl get hpa自動縮放器將根據負載調整llm-app部署中的pod數量。
步驟7：監控和記錄
監控和日志記錄對于維護和排除LLM應用程序的故障至關重要。
啟用監控
使用Prometheus和Grafana之類的工具來監控Kubernetes集群。對于基本的監控，Kubernetes Metrics Server可以提供資源使用數據。
安裝Metrics服務器：
kubectl apply -fhttps://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
查看日志
檢查運行中pod的日志：
kubectl logs <pod-name>對于聚合日志，可以考慮使用Fluentd、Elasticsearch和Kibana等工具。
步驟8：測試應用程序
使用curl或Postman等工具測試LLM API：
curl -X POST http://<external-ip>/generate \
-H "Content-Type: application/json" \
-d '{"prompt": "Explain Kubernetes in simple terms."}'預期的輸出：
{
"response": "Kubernetes is an open-source platform that manages containers..."
}步驟9：擴展到Kubernetes之外
要處理更高級的工作負載或跨多個區域部署，可以遵循如下策略：
- 引入服務網格：諸如Istio之類的工具，能夠對微服務之間的流量進行精細化管理，從而滿足復雜業務架構下的通信需求，提升系統的穩定性與性能。
- 實施多集群部署：借助KubeFed等專業工具，或者選用云提供商所提供的解決方案（例如谷歌Anthos），能夠實現對多集群的有效管理，支持工作負載在多個區域的分布式部署，增強系統的可用性與擴展性。
- 集成持續集成/持續部署（CI/CD）：通過運用Jenkins、GitHub Actions或者GitLab CI等工具搭建自動化管道，實現代碼的持續集成與應用的自動部署，加快軟件交付周期，提升開發與運維效率。
結論
使用Kubernetes構建和部署可擴展的LLM應用程序可能看起來很復雜，但正如我們所看到的，該過程不僅切實可行，而且成果豐碩。從基于LLM創建應用程序編程接口（API）開始，逐步發展到在Kubernetes集群中進行部署與擴展，至此你已掌握一套完整的操作藍圖，可使應用程序具備強大的健壯性、卓越的可擴展性，并完全適配生產環境的嚴苛要求。
Kubernetes所具備的自動伸縮、監控以及服務發現等特性，能夠確保你的應用設置高效應對現實世界中的各類需求。在此基礎之上，你還可進一步探索更為高級的功能強化，例如金絲雀部署、A/B測試，或者利用Knative等Kubernetes原生工具集成無服務器組件。未來的探索空間無限廣闊，而當下所奠定的基礎僅僅只是一個開始。
原文標題：Build Scalable LLM Apps With Kubernetes: A Step-by-Step Guide，作者：Oladimeji Sowole
