用Ray觀測和監控大語言模型工作負載

作者：布加迪 2025-01-27 08:23:41

本文探討了Ray托管的LLM工作負載中可觀測性的重要性、需要監控的關鍵度量指標以及使用Prometheus和Grafana搭建可觀測性機制的詳細指南。

譯者 | 布加迪

審校 | 重樓

前言

GPT-4、PHI2、BERT和T5等大語言模型（LLM）的出現已徹底改變了自然語言處理，這些模型支持高端應用程序，包括聊天機器人、推薦系統和分析。然而，LLM中工作負載的規模和復雜性使得保證性能和可靠性成了一大挑戰。在這種情況下，在使用Ray等框架部署工作負載的同時進行監控和觀測顯得非常必要。

Ray是一種分布式計算框架，提供了一個強大的平臺，可以跨集群有效地擴展LLM工作負載。因此，它成了托管、管理和觀測LLM的一種出色選擇。利用Ray的內置特性，并結合Prometheus和Grafana觀測關鍵度量指標，將幫助用戶有效地監控、優化資源的使用，并快速診斷生產環境中的問題。

本文探討了Ray托管的LLM工作負載中可觀測性的重要性、需要監控的關鍵度量指標以及使用Prometheus和Grafana搭建可觀測性機制的詳細指南。

為什么使用Ray處理LLM工作負載？

Ray為分布式、可擴展的應用程序設計，因而成為了托管和管理LLM工作負載的理想選擇。讓Ray成為出色選擇的主要特性包括如下：

動態任務調度：Ray的細粒度任務調度確保了資源的有效利用，特別是在處理LLM推理任務時，這類任務的大小和復雜性可能大有不同。
易于集成：Ray與Hugging Face Transformers等框架無縫集成，可以輕松部署預訓練的LLM。
自動擴展：Ray的集群自動擴展器可以根據工作負載的需求動態調整資源，確保成本效益和可擴展性。
可觀測性支持：Ray提供了與Prometheus兼容的度量指標端點，簡化了分布式系統的監控設置。

這些特性使Ray不僅是一種計算框架，還是用于在實際應用程序中運行、監控和擴展LLM的基礎工具。

觀測Ray托管的LLM工作負載的關鍵指標

為了確保Ray托管的LLM工作負載的順利運行，跟蹤一系列性能、資源利用和操作度量指標就至關重要。以下是主要類別：

性能指標

任務延遲：測量單個Ray任務完成所需的時間，這對于識別推理管道中的瓶頸至關重要。
吞吐量：跟蹤每秒完成的任務數量，反映了系統處理高請求量的能力。
詞元處理速率：測量每秒處理的詞元數量，特別是與GPT-4等基于Transformer的模型相關。

資源利用指標

CPU和GPU利用率：監控整個集群的資源使用情況，確保工作負載的高效分配。
內存使用：跟蹤內存消耗以防止內存不足錯誤，這對于托管大型模型尤其重要。
對象存儲利用率：觀測Ray的內存中對象存儲的使用情況，以便跨任務有效地共享數據。

操作指標

錯誤率：監控任務失敗率，以快速檢測和解決問題。

節點可用性：跟蹤Ray集群中節點的運行狀況，確保可靠性。

隊列長度：衡量掛起任務的數量，表明處理過程中的潛在瓶頸。

為Ray托管的工作負載設置可觀測性機制

Ray中的可觀測性需要使用度量指標來了解系統性能和診斷問題。通過將Ray與Prometheus和Grafana相集成，你就可以深入了解工作負載的行為。

第1步：設置Prometheus監控

Prometheus是一個開源監控系統，可以從Ray的端點收集度量指標。按照下面的指南在Kubernetes上搭建Prometheus和Ray。

使用KubeRay安裝Prometheus：

# Path: kuberay/
./install/prometheus/install.sh

# Check the installation
kubectl get all -n prometheus-system

配置Pod和服務監控器

設置PodMonitor和ServiceMonitor資源，從Ray head節點和worker節點中抓取度量指標：

apiVersion: monitoring.coreos.com/v1
kind: PodMonitor
metadata:
  name: ray-workers-monitor
  namespace: prometheus-system
  labels:
    release: prometheus
    ray.io/cluster: rayservice-sample-raycluster-bpkgv
spec:
  jobLabel: ray-workers
  namespaceSelector:
    matchNames:
      - raysvc
  selector:
    matchLabels:
      ray.io/node-type: worker
  podMetricsEndpoints:
    - port: metrics
---
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: resume-analyzer-monitor
  namespace: prometheus-system
  labels:
    release: prometheus
spec:
  jobLabel: resume-analyzer
  namespaceSelector:
    matchNames:
      - raysvc
  selector:
    matchLabels:
      ray.io/node-type: head
    endpoints:
      - port: metrics
    targetLabels:
      - ray.io/cluster

第2步：配置錄制規則

錄制規則允許你預先計算PromQL表達式，以加快查詢。比如說，計算Ray全局控制存儲（GCS）的可用性：

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: ray-cluster-gcs-rules
  namespace: prometheus-system
  labels:
    release: prometheus
spec:
  groups:
  - name: ray-cluster-main-staging-gcs.rules
    interval: 30s
    rules:
    - record: ray_gcs_availability_30d
      expr: |
        (
          100 * (
            sum(rate(ray_gcs_update_resource_usage_time_bucket{container="ray-head", le="20.0"}[30d]))
            /
            sum(rate(ray_gcs_update_resource_usage_time_count{container="ray-head"}[30d]))
          )
        )

表達方式解釋：

ray_gcs_update_resource_usage_time_bucket：跟蹤資源使用更新的延遲時間。
ray_gcs_update_resource_usage_time_count：統計更新總次數。
該表達式計算過去30天內在特定延遲閾值內完成的更新的百分比。

第3步：設置警報規則

警報規則有助于主動識別問題。比如說，檢測缺失的GCS度量指標：

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: ray-cluster-gcs-rules
  namespace: prometheus-system
  labels:
    release: prometheus
spec:
  groups:
  - name: ray-cluster-main-staging-gcs.rules
    interval: 30s
    rules:
    - alert: MissingMetricRayGlobalControlStore
      expr: |
        absent(ray_gcs_update_resource_usage_time_count)
      for: 1m
      labels:
        severity: warning
      annotations:
        summary: "Missing Ray GCS metrics"

設置Grafana儀表板

Grafana為度量指標提供了豐富的可視化。下面介紹了如何為Ray設置儀表板：

第1步：捕獲默認儀表板

從Ray head pod中復制默認儀表板：

kubectl cp <head-pod>:/tmp/ray/session_latest/metrics/grafana/dashboards/ ./dashboards

第2步：訪問Grafana儀表板

kubectl port-forward deployment/prometheus-grafana -n prometheus-system 3000:3000

默認登錄憑據：

用戶名：admin
密碼：prom-operator

啟用Ray Serve Pods中的分析

分析推理工作負載依賴用于監控、調試和優化性能的復雜技術。本節將深入介紹特定的工具、配置和場景，以增強你的分析能力。

?內存分析

內存分析對于內存泄漏檢測和使用優化至關重要。比如說，借助Memray，可以跟蹤內存分配，并了解推理任務的行為。若要啟用Ray Serve Pod中的內存分析，更新容器的安全上下文以允許跟蹤：

securityContext:
  capabilities:
    add:
    - SYS_PTRACE

一旦配置完成，Memray就可以用來生成內存使用報告，這有助于識別系統中內存消耗高的任務或瓶頸。

示例用例：

在批處理推理任務期間分析大型Transformer模型的內存使用情況，以優化批處理大小，并減少內存開銷。

?CPU分析

針對CPU分析，可以在worker pod中安裝gdb、lldb或py-spy等工具，以收集詳細的CPU使用數據。這些工具允許你監控哪些函數消耗最多的CPU時間，從而實現有針對性的優化。

設置CPU分析機制：

在ray worker pod中安裝gdb或lldb。
使用分析腳本或工具在推理任務期間捕獲CPU使用快照。