前言

K8s本身不包含內(nèi)置的監(jiān)控工具，所以市場(chǎng)上有不少這樣監(jiān)控工具來(lái)填補(bǔ)這一空白，但是沒(méi)有一個(gè)監(jiān)控工具有k8s全家桶使用率高，因?yàn)樗?CNCF維護(hù)，已經(jīng)成為了監(jiān)控 k8s 集群的事實(shí)上的行業(yè)標(biāo)準(zhǔn)，下面介紹一下如何在K8s快速部署一個(gè)kube-prometheus項(xiàng)目，來(lái)實(shí)現(xiàn)對(duì)k8s 相關(guān)資源監(jiān)控與告警

kube-prometheus介紹

圖片

kube-prometheus是一個(gè)完整的監(jiān)控解決方案，可以輕松地將其部署到 Kubernetes 集群中，它包括以下內(nèi)容

1. Prometheus 用于度量收集

2. Alertmanager 用于指標(biāo)警報(bào)和通知

3. Grafana 用于圖形用戶界面

4. 一組特定于K8s的exporters，用作指標(biāo)收集代理

5. 使用 Prometheus Operator 來(lái)簡(jiǎn)化和自動(dòng)化該堆棧的設(shè)置

快速安裝

在將 kube-prometheus部署到 k8s 集群之前，先確認(rèn)與你的 k8s匹配的是版本，然后在下載

圖片

下載

執(zhí)行kubectl version 查看k8s 版本，下載對(duì)應(yīng)版本

圖片

由于本人的 k8s 版本為 v1.25.13，所以下載kube-prometheus-0.12.0

wget https://github.com/prometheus-operator/kube-prometheus/archive/refs/tags/v0.12.0.zip

解壓

tar -zxvf kube-prometheus-0.12.0.zip & cd kube-prometheus-0.12.0

修改鏡像地址

由于網(wǎng)絡(luò)原因，kube-state-metrics和prometheus-adapter鏡像地址，在國(guó)內(nèi)無(wú)法下載，因此需要修改以下地址：

vi manifests/kubeStateMetrics-deployment.yaml

image: bitnami/kube-state-metrics:2.7.0

vi manifests/prometheusAdapter-deployment.yaml

image: cloveropen/prometheus-adapter:v0.10.0

訪問(wèn)配置

為了可以從外部訪問(wèn) Prometheus、Grafana、Alertmanager，需要修改 service 類(lèi)型為 NodePort 類(lèi)型。

修改 Prometheus 的 service

vi manifests/prometheus-service.yaml

# 設(shè)置對(duì)外訪問(wèn)端口，增加如下兩行
type: NodePort
nodePort: 31922

圖片

修改 Grafana 的 service

vi manifests/grafana-service.yaml

# 設(shè)置對(duì)外訪問(wèn)端口，增加如下兩行
type: NodePort
nodePort: 30300

圖片

修改 Alertmanager 的 service

vi manifests/alertmanager-service.yaml

# 設(shè)置對(duì)外訪問(wèn)端口，增加如下兩行
type: NodePort
nodePort: 30200

圖片

安裝

在kube-prometheus-0.12.0目錄下執(zhí)行以下命令進(jìn)行安裝

kubectl apply --server-side -f manifests/setup
kubectl apply -f manifests/

執(zhí)行完成以后，訪問(wèn)monitoring 空間，查看部署狀態(tài)，可以看到啟動(dòng)成功，并且都是高可用部署

kubectl get pods -n monitoring

圖片

驗(yàn)證

Prometheus驗(yàn)證

選一臺(tái) node 節(jié)點(diǎn)ip+31922，即可訪問(wèn)prometheus的 Web UI

圖片

Alertmanager驗(yàn)證

選一臺(tái) node 節(jié)點(diǎn)ip+30200，即可訪問(wèn)alertmanager的 Web UI，可以看到有一些報(bào)警，由于alertmanager的報(bào)警配置比較復(fù)雜同時(shí)對(duì)國(guó)內(nèi)的通訊工具支持有限，因此可以使用PrometheusAlert進(jìn)行告警配置

圖片

Grafana驗(yàn)證

選一臺(tái) node 節(jié)點(diǎn)ip+30300，即可訪問(wèn)grafana的 Web UI，默認(rèn)用戶名密碼：admin/admin，登錄會(huì)提示更改密碼，登錄以后，可以看到已經(jīng)內(nèi)置了不少監(jiān)控大盤(pán)

集群資源監(jiān)控

圖片

節(jié)點(diǎn)資源監(jiān)控，可以看到當(dāng)前節(jié)點(diǎn)部署了哪些 pod，以及對(duì)應(yīng)的負(fù)載是多少

圖片

卸載

執(zhí)行以下命令即可卸載相關(guān)組件

kubectl delete --ignore-not-found=true -f manifests/ -f manifests/setup

存在的問(wèn)題

持久存儲(chǔ)

以上我們安裝未使用持久化存儲(chǔ)，所以如果Prometheus或者Grafana重啟，那么采集的數(shù)據(jù)和自定義的儀表盤(pán)等數(shù)據(jù)會(huì)丟失，因此如果考慮在生產(chǎn)環(huán)境使用，需要把數(shù)據(jù)使用存儲(chǔ)卷掛載至文件系統(tǒng)。

Grafana顯示時(shí)間問(wèn)題

由于grafana默認(rèn)時(shí)區(qū)是UTC，比中國(guó)時(shí)間慢了8小時(shí)，很不便于日常監(jiān)控查看，需要進(jìn)行修改，如下圖

圖片

因此需要調(diào)整成中國(guó)時(shí)間，utc+8，替換grafana-dashboardDefinitions.yaml

sed -i '' 's/utc/utc+8/g' grafana-dashboardDefinitions.yaml
sed -i '' 's/UTC/UTC+8/g' grafana-dashboardDefinitions.yaml
grep -i timezone grafana-dashboardDefinitions.yaml