使用 Vmalert 代替 Prometheus 監控報警
前面我們已經介紹了可以??使用 vmagent 代替 prometheus 抓取監控指標數據??，要想完全替換 prometheus 還有一個非常重要的部分就是報警模塊，之前我們都是在 prometheus 中定義報警規則評估后發送給 alertmanager 的，同樣對應到 vm 中也有一個專門來處理報警的模塊：vmalert。
vmalert 會針對 -datasource.url 地址執行配置的報警或記錄規則，然后可以將報警發送給 -notifier.url 配置的 Alertmanager，記錄規則結果會通過遠程寫入的協議進行保存，所以需要配置 -remoteWrite.url。
特性
- 與 VictoriaMetrics TSDB 集成。
- VictoriaMetrics MetricsQL 支持和表達式驗證。
- Prometheus 告警規則定義格式支持。
- 與 Alertmanager 集成。
- 在重啟時可以保持報警狀態。
- Graphite 數據源可用于警報和記錄規則。
- 支持記錄和報警規則重放。
- 非常輕量級，沒有額外的依賴。
要開始使用 vmalert，需要滿足以下條件：
- 報警規則列表：要執行的 PromQL/MetricsQL 表達式。
- 數據源地址：可訪問的 VictoriaMetrics 實例，用于規則執行。
- 通知程序地址：可訪問的 Alertmanager 實例，用于處理，匯總警報和發送通知。
安裝
首先需要安裝一個 Alertmanager 用來接收報警信息，前面章節中我們已經詳細講解過了，這里不再贅述了，對應的資源清單如下所示：
# alertmanager.yaml
apiVersion: v1
kind: ConfigMap
metadata:
name: alert-config
namespace: kube-vm
data:
config.yml: |-
global:
resolve_timeout: 5m
smtp_smarthost: 'smtp.163.com:465'
smtp_from: 'xxx@163.com'
smtp_auth_username: 'xxx@163.com'
smtp_auth_password: '<auth code>' # 使用網易郵箱的授權碼
smtp_hello: '163.com'
smtp_require_tls: false
route:
group_by: ['severity', 'source']
group_wait: 30s
group_interval: 5m
repeat_interval: 24h
receiver: email
receivers:
- name: 'email'
email_configs:
- to: 'xxxxxx@qq.com'
send_resolved: true
---
apiVersion: v1
kind: Service
metadata:
name: alertmanager
namespace: kube-vm
labels:
app: alertmanager
spec:
selector:
app: alertmanager
type: NodePort
ports:
- name: web
port: 9093
targetPort: http
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: alertmanager
namespace: kube-vm
labels:
app: alertmanager
spec:
selector:
matchLabels:
app: alertmanager
template:
metadata:
labels:
app: alertmanager
spec:
volumes:
- name: cfg
configMap:
name: alert-config
containers:
- name: alertmanager
image: prom/alertmanager:v0.21.0
imagePullPolicy: IfNotPresent
args:
- "--config.file=/etc/alertmanager/config.yml"
ports:
- containerPort: 9093
name: http
volumeMounts:
- mountPath: "/etc/alertmanager"
name: cfg
Alertmanager 這里我們只配置了一個默認的路由規則，根據 severity、source 兩個標簽進行分組，然后將觸發的報警發送到 email 接收器中去。
接下來需要添加用于報警的規則配置，配置方式和 Prometheus 一樣的：
# vmalert-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
name: vmalert-config
namespace: kube-vm
data:
record.yaml: |
groups:
- name: record
rules:
- record: job:node_memory_MemFree_bytes:percent # 記錄規則名稱
expr: 100 - (100 * node_memory_MemFree_bytes / node_memory_MemTotal_bytes)
pod.yaml: |
groups:
- name: pod
rules:
- alert: PodMemoryUsage
expr: sum(container_memory_working_set_bytes{pod!=""}) BY (instance, pod) / sum(container_spec_memory_limit_bytes{pod!=""} > 0) BY (instance, pod) * 100 > 60
for: 2m
labels:
severity: warning
source: pod
annotations:
summary: "Pod {{ $labels.pod }} High Memory usage detected"
description: "{{$labels.instance}}: Pod {{ $labels.pod }} Memory usage is above 60% (current value is: {{ $value }})"
node.yaml: |
groups:
- name: node
rules: # 具體的報警規則
- alert: NodeMemoryUsage # 報警規則的名稱
expr: (node_memory_MemTotal_bytes - (node_memory_MemFree_bytes + node_memory_Buffers_bytes + node_memory_Cached_bytes)) / node_memory_MemTotal_bytes * 100 > 30
for: 1m
labels:
source: node
severity: critical
annotations:
summary: "Node {{$labels.instance}} High Memory usage detected"
description: "{{$labels.instance}}: Memory usage is above 30% (current value is: {{ $value }})"
這里我們添加了一條記錄規則，兩條報警規則，更多報警規則配置可參考 https://awesome-prometheus-alerts.grep.to/。
然后就可以部署 vmalert 組件服務了：
# vmalert.yaml
apiVersion: v1
kind: Service
metadata:
name: vmalert
namespace: kube-vm
labels:
app: vmalert
spec:
ports:
- name: vmalert
port: 8080
targetPort: 8080
type: NodePort
selector:
app: vmalert
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: vmalert
namespace: kube-vm
labels:
app: vmalert
spec:
selector:
matchLabels:
app: vmalert
template:
metadata:
labels:
app: vmalert
spec:
containers:
- name: vmalert
image: victoriametrics/vmalert:v1.77.0
imagePullPolicy: IfNotPresent
args:
- -rule=/etc/ruler/*.yaml
- -datasource.url=http://vmselect.kube-vm.svc.cluster.local:8481/select/0/prometheus
- -notifier.url=http://alertmanager.kube-vm.svc.cluster.local:9093
- -remoteWrite.url=http://vminsert.kube-vm.svc.cluster.local:8480/insert/0/prometheus
- -evaluationInterval=15s
- -httpListenAddr=0.0.0.0:8080
volumeMounts:
- mountPath: /etc/ruler/
name: ruler
readOnly: true
volumes:
- configMap:
name: vmalert-config
name: ruler
上面的資源清單中將報警規則以 volumes 的形式掛載到了容器中，通過 -rule 指定了規則文件路徑，-datasource.url 指定了 vmselect 的路徑，-notifier.url 指定了 Alertmanager 的地址，其中 -evaluationInterval 參數用來指定評估的頻率的，由于我們這里添加了記錄規則，所以還需要通過 -remoteWrite.url 指定一個遠程寫入的地址。
直接創建上面的資源清單即可完成部署。
? ? kubectl apply -f https://p8s.io/docs/victoriametrics/manifests/alertmanager.yaml
? ? kubectl apply -f https://p8s.io/docs/victoriametrics/manifests/vmalert-config.yaml
? ? kubectl apply -f https://p8s.io/docs/victoriametrics/manifests/vmalert.yaml
? ? kubectl get pods -n kube-vm -l app=alertmanager
NAME READY STATUS RESTARTS AGE
alertmanager-d88d95b4f-z2j8g 1/1 Running 0 30m
? ? kubectl get svc -n kube-vm -l app=alertmanager
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
alertmanager NodePort 10.100.230.2 <none> 9093:31282/TCP 31m
? ? kubectl get pods -n kube-vm -l app=vmalert
NAME READY STATUS RESTARTS AGE
vmalert-866674b966-675nb 1/1 Running 0 7m17s
? ? kubectl get svc -n kube-vm -l app=vmalert
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
vmalert NodePort 10.104.193.183 <none> 8080:30376/TCP 22m
部署成功后，如果有報警規則達到了閾值就會觸發報警，我們可以通過 Alertmanager 頁面查看觸發的報警規則：
同樣 vmalert 也提供了一個簡單的頁面，可以查看所有的 Groups：
也可以查看到報警規則列表的狀態：
還可以查看到具體的一條報警規則的詳細信息，如下所示：
報警規則觸發后怎么發送，發送到哪個接收器就是 Alertmanager 決定的了。
同樣的上面我們添加的記錄規則會通過 remote write 傳遞給 vminsert 保留下來，所以我們也可以通過 vmselect 查詢到。
到這里基本上我們就完成了使用 vm 代替 prometheus 來進行監控報警了，vmagent 采集監控指標，vmalert 用于報警監控，vmstorage 存儲指標數據，vminsert 接收指標數據，vmselect 查詢指標數據，已經完全可以不使用 prometheus 了，而且性能非常高，所需資源也比 prometheus 低很多。
