阿里云云監(jiān)控實時數(shù)據(jù)對接自建Prometheus
原創(chuàng)作者：吳守陽
云監(jiān)控推出了監(jiān)控數(shù)據(jù)實時導出工具。該工具可以在客戶的線下運行，根據(jù)配置實時獲取云監(jiān)控的監(jiān)控數(shù)據(jù)，并持續(xù)寫入本地Prometheus。
部分客戶在云下已有完善的企業(yè)IT管理系統(tǒng)，希望能夠將云上數(shù)據(jù)實時導出到線下進行統(tǒng)一監(jiān)控?；谠搱鼍?，云監(jiān)控推出了監(jiān)控數(shù)據(jù)實時導出工具。該工具可以在客戶的線下運行，根據(jù)配置實時獲取云監(jiān)控的監(jiān)控數(shù)據(jù)，并持續(xù)寫入本地Prometheus。
方案優(yōu)勢
- 支持云監(jiān)控里的所有云服務。
- 更快更實時的基于企業(yè)云監(jiān)控的實時數(shù)據(jù)導出功能流式導出監(jiān)控數(shù)據(jù)，無需擔心數(shù)據(jù)丟失的異常情況，更不用擔心API調(diào)用次數(shù)限制和流控問題。
- 本地化部署，操作簡單。
- 導出的監(jiān)控數(shù)據(jù)維度更豐富，自動補全實例IP地址、實例名稱、地域、資源組、標簽等信息，使數(shù)據(jù)可以更方便的通過PromQL進行多維度的統(tǒng)計分析。
背景信息
開通企業(yè)云監(jiān)控不會產(chǎn)生任何費用，后續(xù)將按照實際使用量進行計費。關于實時數(shù)據(jù)導出的計費標準，請參見實時數(shù)據(jù)導出。
前提條件
請確保您已開通企業(yè)云監(jiān)控。具體操作，請參見開通企業(yè)云監(jiān)控。 Prometheus必須與云監(jiān)控網(wǎng)絡互通。
1.服務解壓
[root@prometheus opt]# unzip exporter_local-2023_04_23_18-24-53.zip
[root@prometheus opt]# mv exporter_local-2023_04_23_18-24-53 alyun_exporter2.修改配置文件
[root@prometheus opt]# vim /opt/alyun_exporter/configs/product.yml
# 服務端接入點，配置文件位置、日志等級等
serverconf:
service_endpoint: cms-export.cn-shanghai.aliyuncs.com # export服務地址（公網(wǎng)地址）
page_size: 300 # 查詢數(shù)據(jù)的分頁大小
log_dest: 1 # 1 stdout; 2 file
log_dir: # 日志文件位置
log_level: Warning # 日志等級
http_proxy: # http代理
https_proxy: # https代理
no_proxy: # noproxy代理
no_meta: true # 是否補充meta信息的功能
no_savepoint: true # 是否記錄進度
no_tag_prefix: true # 是否為標簽增加'tag_'前綴
# 遠端 Prometheus 的寫入地址和鑒權
remote_prom:
endpoint: http://172.30.71.5:9090/api/v1/write # Prometheus服務地址（本地自建,需開啟遠程寫入）
basic_auth:
username: name # basic auth 的 username
password: bb # basic auth 的 password
# 用戶賬號的信息，tag，desc等信息的查詢
credential:
user_id: 14554***** # 用戶的 userid
access_key: L*****o9 # 用戶的 ak
access_secret: O*****S # 用戶的 sk
# 配置用戶想要寫入數(shù)據(jù)的label，如果不需要可以直接刪除這一項配置
#datatag:
# - {key: customKey1, val: val1}
# - {key: customKey2, val: val2}
# 配置需要導出的產(chǎn)品類型和指標
products:
- namespace: acs_rds_dashboard ##名字是固定死的
metric_info:
- metric_list: [ConnectionUsage,CpuUsage,DataDelay,DiskUsage,IOPSUsage,MemoryUsage,MySQL_ActiveSessions,MySQL_ComDelete,MySQL_ComInsert,MySQL_ComInsertSelect,MySQL_ComReplace,MySQL_ComReplaceSelect,MySQL_ComSelect,MySQL_ComUpdate,MySQL_DataDiskSize,MySQL_IbufDirtyRatio,MySQL_IbufReadHit,MySQL_IbufRequestR,MySQL_IbufRequestW,MySQL_IbufUseRatio,MySQL_InnoDBDataRead,MySQL_InnoDBDataWritten,MySQL_InnoDBLogFsync,MySQL_InnoDBLogWriteRequests,MySQL_InnoDBLogWrites,MySQL_InnoDBRowDelete,MySQL_InnoDBRowInsert,MySQL_InnoDBRowRead,MySQL_InnoDBRowUpdate,MySQL_InstanceDiskSize,MySQL_LogDiskSize,MySQL_NetworkInNew,MySQL_NetworkOutNew,MySQL_OtherDiskSize,MySQL_ProxyCpuUsage,MySQL_QPS,MySQL_SlaveIORunning,MySQL_SlaveSQLRunning,MySQL_SlowQueries,MySQL_TPS,MySQL_TempDiskTableCreates,MySQL_ThreadsConnected,MySQL_TmpDiskSize,MySQL_ibufPoolReads]
period: 60
- namespace: acs_mongodb ##名字是固定死的
metric_info:
- metric_list: [ShardingCPUUtilization,ShardingConnectionAmount,ShardingConnectionUtilization,ShardingDataDiskAmount,ShardingDataDiskAmountOriginal,ShardingDiskUtilization,ShardingIOPSUtilization,ShardingInstanceDiskAmount,ShardingIntranetIn,ShardingIntranetOut,ShardingLogDiskAmount,ShardingMemoryUtilization,ShardingNumberRequests,ShardingOpCommand,ShardingOpDelete,ShardingOpGetmore,ShardingOpInsert,ShardingOpQuery,ShardingOpUpdate,ShardingQPS,ShardingReplicationLag]
period: 603.啟動
[root@prometheus-20230428 alyun_exporter]# ./exporter_local &4.在prometheus獲取指標
AliyunMongodb_ShardingConnectionAmount
AliyunRds_MySQL_IbufDirtyRatio
注意指標前綴：
企業(yè)云監(jiān)控服務，在設計之初就帶上了 Aliyun+{產(chǎn)品名稱} + "_" 這樣的前綴，比如：
- ecs的指標會增加前綴 AliyunEcs_
- slb的指標會增加前綴 AliyunSlb_
- eip的指標會增加前綴 AliyunVpceip_
- fc的指標會增加前綴 AliyunFc_
#配置需要導出的產(chǎn)品類型和指標
5.Prometheus頁面展現(xiàn)
由于該組件是將云監(jiān)控數(shù)據(jù)寫入到Prometheus，Prometheus是無需做任何配置，只需開啟遠程寫入即可，Prometheus里面不會主動顯示監(jiān)控的相關實例，可以被動進行實例查詢。
如下：
6.Grafana 頁面展現(xiàn)
有組件安裝包以及Grafana阿里云模版需求的可以關注我公眾號，私聊我。
作者簡介
吳守陽，51CTO社區(qū)編輯，擁有8年DBA工作經(jīng)驗，熟練管理MySQL、Redis、MongoDB等開源數(shù)據(jù)庫。精通性能優(yōu)化、備份恢復和高可用性架構設計。善于故障排除和自動化運維，保障系統(tǒng)穩(wěn)定可靠。具備良好的團隊合作和溝通能力，致力于為企業(yè)提供高效可靠的數(shù)據(jù)庫解決方案。
責任編輯：姜華
來源：
DBA實戰(zhàn)
