当前位置： 首页 > ai >正文

【Prometheus+Grafana篇】监控通过Keepalived实现的MySQL HA高可用架构

ai 2025/7/22 8:28:57

💫《博主主页》：
　　　🔎 CSDN主页__奈斯DB
　　　🔎 IF Club社区主页__奈斯、
🔥《擅长领域》：擅长阿里云AnalyticDB for MySQL(分布式数据仓库)、Oracle、MySQL、Linux、prometheus监控；并对SQLserver、NoSQL(Redis)有了解
💖如果觉得文章对你有所帮助，欢迎点赞收藏加关注💖

在这里插入图片描述
    看过我之前文章的小伙伴都清楚，在之前介绍过 [基于Prometheus+Grafana实现MySQL数据库的监控与可视化 ]的文章，这篇文章主要是监控MySQL数据库和主从复制，但当数据库升级为高可用架构后，监控策略也需要随之升级！🔝
    在运营商、金融、电商等关键业务场景中，MySQL高可用架构（如MGR、MHA、Keepalived+HA、InnoDB Cluster等）是保障"一年五个九"（99.999%可用性）的核心支柱。那么在众多MySQL高可用架构中，Keepalived+HA是实现MySQL高可用中最常见的一种方案，只需要两台服务器就可以实现MySQL的高可用，因此实时监控高可用架构状态是非常重要的一环。
    那么接下来这篇文章将聚焦Keepalived+HA高可用架构，通过Prometheus打造全方位的监控体系！🚀

   

特别说明💥：
⚡监控MySQL HA实现如下告警

  • ✅ Keepalived 服务已停止
  • ✅ 主节点虚拟IP不可达
  • ✅ 虚拟IP漂移到备节点
       
       

prometheus+Grafana全系列文章（实时更新🔥）：

序号文章
1【prometheus+Grafana篇】Prometheus与Grafana：深入了解监控架构与数据可视化分析平台
2【prometheus+Grafana篇】从零开始：Linux 7.6 上二进制安装 Prometheus、Grafana 和 Node Exporter
3【prometheus+Grafana篇】Prometheus告警规则参数全解析 + Alertmanager实现多平台告警(含电子邮件/企业微信群/飞书群/钉钉群接受方式)
4【prometheus+Grafana篇】PromQL核心函数解析：rate()与irate()函数详解
5【prometheus+Grafana篇】基于Prometheus+Grafana实现Linux操作系统的监控与可视化
6【prometheus+Grafana篇】基于Prometheus+Grafana实现windows操作系统的监控与可视化
7【prometheus+Grafana篇】基于Prometheus+Grafana实现Oracle数据库的监控与可视化
8【prometheus+Grafana篇】基于Prometheus+Grafana实现MySQL数据库的监控与可视化
9【Prometheus+Grafana篇】监控通过Keepalived实现的MySQL HA高可用架构
10【prometheus+Grafana篇】基于Prometheus+Grafana实现MongoDB数据库的监控与可视化
11【prometheus+Grafana篇】基于Prometheus+Grafana实现Redis数据库的监控与可视化
12【prometheus+Grafana篇】基于Prometheus+Grafana实现postgreSQL数据库的监控与可视化
13【prometheus+Grafana篇】基于Prometheus+Grafana实现SQLserver数据库的监控与可视化

目录

    • 一、HA主
      • 1）编辑监控keepalived+VIP进程脚本
      • 2）安装python和Prometheus所需依赖包
      • 3）将监控脚本写入到linux启动服务项
    • 二、HA备
      • 1）编辑监控keepalived+VIP进程脚本
      • 2）安装python和Prometheus所需依赖包
      • 3）将监控脚本写入到linux启动服务项
    • 三、添加MySQL HA到prometheus中
      • 1）将MySQL HA的信息加入到prometheus监控的配置文件prometheus.yml中
      • 2）配置告警规则文件
      • 3）检查配置文件
      • 4）prometheus.yml文件添加了信息，所以重启prometheus进程或者重新加载配置文件（二选一）
      • 5）在prometheus查看是否可以看到监控信息
    • 四、模拟主库故障，查看告警

   

MySQL HA高可用架构信息如下：

角色VIPIP地址类型
HA主110.120.100.48110.120.100.46读写
HA备110.120.100.47读（备用）

在这里插入图片描述
   
    那么从上面的架构图可以推断出主库和从库分别都应该监控哪些内容：

  • 主库：

    1. 监控主库上的keepalived监控
    2. 主节点需要检查虚拟 IP 是否不存在：正常情况下keepalived的VIP只能存在于主库上，而不能存在于除了主库的其他任意节点上
         

  • 从库：

    1. 监控从库上的keepalived监控
    2. 备节点需要检查虚拟 IP 是否存在：正常情况下keepalived的VIP地址是在主节点上的，如果在从节点发现了VIP，就进行告警。这样的好处在于可以马上知晓VIP漂移到了从节点上，也可以监控是否出现了脑裂问题，如果出现了脑裂能马上进行干预和处理。PS提示：Keepalived的BACKUP主机在收到不MASTER主机报文后就会切换成为master，如果是它们之间的通信线路出现问题，无法接收到彼此的组播通知，但是两个节点实际都处于正常工作状态，这时两个节点均为master强行绑定虚拟IP，导致不可预料的后果，这就是脑裂。
         

   现在知道了该监控哪些内容，那么开始如下配置。

   

监控部署流程正式启动，请勿中断操作！！！🚀

   

一、HA主

1）编辑监控keepalived+VIP进程脚本

[root@mysql-db1 ~]# mkdir -p /opt/prometheus
[root@mysql-db1 ~]# cd /opt/prometheus/
[root@mysql-db1 ~]# mkdir keepalived_exporter
[root@mysql-db1 ~]# cd keepalived_exporter 
[root@mysql-db1 keepalived_exporter]# vi keepalived_monitor.pyfrom flask import Flask, Response
import subprocess
import osapp = Flask(__name__)@app.route('/metrics')
def metrics():# 检查 keepalived 服务状态result = subprocess.run(['systemctl', 'is-active', 'keepalived'], stdout=subprocess.PIPE)keepalived_status = 1 if result.stdout.decode().strip() == 'active' else 0# 检查虚拟 IP 是否存在于本机ip_address = '110.120.100.48'result = subprocess.run(['ip', 'addr', 'show'], stdout=subprocess.PIPE, stderr=subprocess.PIPE)ip_status = 1 if ip_address in result.stdout.decode() else 0# 返回 Prometheus 格式的指标metrics_data = '# HELP keepalived_status 状态，1表示keepalived服务正在运行，0表示未运行\n'metrics_data += '# TYPE keepalived_status gauge\n'metrics_data += f'keepalived_status {keepalived_status}\n'                  # 检查 keepalived 服务状态metrics_data += f'# HELP ip_reachability_primary{{ip="{ip_address}"}} 虚拟IP是否存在，1表示存在，0表示不存在\n'    # 根据节点角色设置 Prometheus 格式的指标。主节点需要检查虚拟 IP 是否不存在，定义的指标项为ip_reachability_primary；备节点需要检查虚拟 IP 是否存在，定义的指标项为ip_reachability_secondarymetrics_data += '# TYPE ip_reachability_primary gauge\n'metrics_data += f'ip_reachability_primary{{ip="{ip_address}"}} {ip_status}\n'return Response(metrics_data, mimetype='text/plain')if __name__ == '__main__':app.run(host='0.0.0.0', port=4399)  # 监听 4399 端口

###脚本实现了两个监控：

  1. 检查了 keepalived 服务状态
  2. 检查了虚拟 IP 是否存在于本机，根据节点角色设置 Prometheus 格式的指标。主节点需要检查虚拟 IP 是否不存在，定义的指标项为ip_reachability_primary；备节点需要检查虚拟 IP 是否存在，定义的指标项为ip_reachability_secondary。虚拟ip是一个在主备节点之间共享的虚拟IP地址，永远只存在于同一个virtual_router_id组中的主节点上。也是就说监控主节点上ip是否不存在，备节点监控ip是否存在
       

###在如上脚本中，只需要将 ip_address = '110.120.100.48' 这里的IP替换为实际的VIP，其他地方不需要有任何变更
   
   

2）安装python和Prometheus所需依赖包

安装Python：通过yum进行安装。监控脚本是通过python实现的，因此需要安装python3，用于运行keepalived_monitor.py监控脚本

[root@mysql-db1 ~]# yum install python3
[root@mysql-db1 ~]# python3 --version

   

安装Flask：将Flask相关包上传至Linux的/software/Flask目录下。这里安装flask是因为在keepalived_monitor.py监控脚本中使用了 Flask 的以下关键组件

组件用途必要性
Flask创建轻量级Web服务器✅ 必须
@app.route暴露 /metrics 端点供Prometheus抓取✅ 必须
Response返回符合Prometheus格式的监控数据✅ 必须
flask相关包博主已打包上传至资源，需要的小伙伴直接下载即可

在这里插入图片描述
在这里插入图片描述

[root@mysql-db1 ~]# cd /software
[root@mysql-db1 ~]# unzip flask.zip
[root@mysql-db1 ~]# cd flask
[root@mysql-db1 ~]# pip3 install *.whl

PS小提示：如果不安装Flask。那么通过python3运行keepalived_monitor.py脚本时会报如下错误：
在这里插入图片描述
   
   

3）将监控脚本写入到linux启动服务项

[root@mysql-db1 ~]# cd /usr/lib/systemd/system
[root@mysql-db1 ~]# vi keepalived_monitor.service[Unit]
Description=Keepalived Monitor Script
After=network.target[Service]
Type=simple
ExecStart=/usr/bin/python3 /opt/prometheus/keepalived_exporter/keepalived_monitor.py
WorkingDirectory=/opt/prometheus/keepalived_exporter/
Restart=always
Environment=PATH=/usr/bin:/usr/local/bin:/usr/sbin
Environment=PYTHONUNBUFFERED=1[Install]
WantedBy=multi-user.target[root@mysql-db1 ~]# systemctl daemon-reload
[root@mysql-db1 ~]# systemctl start keepalived_monitor.service
[root@mysql-db1 ~]# systemctl enable keepalived_monitor.service
[root@mysql-db1 ~]# systemctl status keepalived_monitor.service

   

二、HA备

1）编辑监控keepalived+VIP进程脚本

[root@mysql-db2 ~]# mkdir -p /opt/prometheus
[root@mysql-db2 ~]# cd /opt/prometheus/
[root@mysql-db2 ~]# mkdir keepalived_exporter
[root@mysql-db2 ~]# cd keepalived_exporter 
[root@mysql-db2 keepalived_exporter]# vi keepalived_monitor.pyfrom flask import Flask, Response
import subprocess
import osapp = Flask(__name__)@app.route('/metrics')
def metrics():# 检查 keepalived 服务状态result = subprocess.run(['systemctl', 'is-active', 'keepalived'], stdout=subprocess.PIPE)keepalived_status = 1 if result.stdout.decode().strip() == 'active' else 0# 检查虚拟 IP 是否存在于本机ip_address = '110.120.100.48'result = subprocess.run(['ip', 'addr', 'show'], stdout=subprocess.PIPE, stderr=subprocess.PIPE)ip_status = 1 if ip_address in result.stdout.decode() else 0# 返回 Prometheus 格式的指标metrics_data = '# HELP keepalived_status 状态，1表示keepalived服务正在运行，0表示未运行\n'metrics_data += '# TYPE keepalived_status gauge\n'metrics_data += f'keepalived_status {keepalived_status}\n'                  # 检查 keepalived 服务状态metrics_data += f'# HELP ip_reachability_secondary{{ip="{ip_address}"}} 虚拟IP是否存在，1表示存在，0表示不存在\n'    # 根据节点角色设置 Prometheus 格式的指标。主节点需要检查虚拟 IP 是否不存在，定义的指标项为ip_reachability_primary；备节点需要检查虚拟 IP 是否存在，定义的指标项为ip_reachability_secondarymetrics_data += '# TYPE ip_reachability_secondary gauge\n'metrics_data += f'ip_reachability_secondary{{ip="{ip_address}"}} {ip_status}\n'return Response(metrics_data, mimetype='text/plain')if __name__ == '__main__':app.run(host='0.0.0.0', port=4399)  # 监听 4399 端口

###脚本实现了两个监控：

  1. 检查了 keepalived 服务状态
  2. 检查了虚拟 IP 是否存在于本机，根据节点角色设置 Prometheus 格式的指标。主节点需要检查虚拟 IP 是否不存在，定义的指标项为ip_reachability_primary；备节点需要检查虚拟 IP 是否存在，定义的指标项为ip_reachability_secondary。虚拟ip是一个在主备节点之间共享的虚拟IP地址，永远只存在于同一个virtual_router_id组中的主节点上。也是就说监控主节点上ip是否存在，备节点监控ip是否不存在
       

###在如上脚本中，只需要将 ip_address = '110.120.100.48' 这里的IP替换为实际的VIP，其他地方不需要有任何变更
   
   

2）安装python和Prometheus所需依赖包

安装Python：通过yum进行安装。监控脚本是通过python实现的，因此需要安装python3，用于运行keepalived_monitor.py监控脚本

[root@mysql-db2 ~]# yum install python3
[root@mysql-db2 ~]# python3 --version

   

安装Flask：将Flask相关包上传至Linux的/software/Flask目录下。这里安装flask是因为在keepalived_monitor.py监控脚本中使用了 Flask 的以下关键组件

组件用途必要性
Flask创建轻量级Web服务器✅ 必须
@app.route暴露 /metrics 端点供Prometheus抓取✅ 必须
Response返回符合Prometheus格式的监控数据✅ 必须
flask相关包博主已打包上传至资源，需要的小伙伴直接下载即可

在这里插入图片描述
在这里插入图片描述

[root@mysql-db2 ~]# cd /software
[root@mysql-db2 ~]# unzip flask.zip
[root@mysql-db2 ~]# cd flask
[root@mysql-db2 ~]# pip3 install *.whl

PS小提示：如果不安装Flask。那么通过python3运行keepalived_monitor.py脚本时会报如下错误：
在这里插入图片描述
   
   

3）将监控脚本写入到linux启动服务项

[root@mysql-db2 ~]# cd /usr/lib/systemd/system
[root@mysql-db2 ~]# vi keepalived_monitor.service[Unit]
Description=Keepalived Monitor Script
After=network.target[Service]
Type=simple
ExecStart=/usr/bin/python3 /opt/prometheus/keepalived_exporter/keepalived_monitor.py
WorkingDirectory=/opt/prometheus/keepalived_exporter/
Restart=always
Environment=PATH=/usr/bin:/usr/local/bin:/usr/sbin
Environment=PYTHONUNBUFFERED=1[Install]
WantedBy=multi-user.target[root@mysql-db2 ~]# systemctl daemon-reload
[root@mysql-db2 ~]# systemctl start keepalived_monitor.service
[root@mysql-db2 ~]# systemctl enable keepalived_monitor.service
[root@mysql-db2 ~]# systemctl status keepalived_monitor.service

   

三、添加MySQL HA到prometheus中

注意：如下操作是在安装了prometheus和Grafana的主机上进行操作
   

1）将MySQL HA的信息加入到prometheus监控的配置文件prometheus.yml中

[root@prometheus ~]# vi /opt/prometheus/prometheus.yml     
在scrape_configs下面新增如下内容：
# keepalived_exporter配置- job_name: "MySQL keepalived status"         ###job_name 用来唯一标识一个监控任务。在同一个 prometheus.yml 文件中，不同的 scrape_config可以有不同的job_name，以便 Prometheus 能够区分和管理不同的监控目标和配置，用来将不同的监控目标分组。单位为监控keepalived设置一个独立的job_namescrape_interval: 15s                        ###指定这个job_name每隔多久从每个目标（如 Exporter、应用端点）拉取一次指标数据。优先级：会覆盖全局的 global:scrape_interval（如果存在）。file_sd_configs:- files:- /opt/prometheus/conf.d/keepalived_targets.json     # keepalived需要监控的实例都单独写在了keepalived_targets.json文件中，是为了避免prometheus.yml内容过多，看起来更简洁[root@prometheus ~]# vi /opt/prometheus/conf.d/keepalived_targets.json
[{"targets": [ "110.120.100.46:4399" ],"labels": { "instance": "数据库HA(keepalived)主库(IP:110.120.100.46)" }},{"targets": [ "110.120.100.47:4399" ],"labels": { "instance": "数据库HA(keepalived)从库(IP:110.120.100.47)" }}
]

   

2）配置告警规则文件

    除了如下告警规则之外，还需要单独配置一个Targets目标不可达（up）的相关规则，因为up 是一个布尔值指标，表示 Prometheus 是否能够成功地 scrape（抓取）到指定的目标（targets）数据，用于判断目标node-exporter相关进程是否在目标主机存活。关于up的规则文件参考：【prometheus+Grafana篇】从零开始：Linux 7.6 上二进制安装 Prometheus、Grafana 和 Node Exporter

[root@prometheus ~]# cd /opt/prometheus/rules/     ###在prometheus.yml文件中定义了告警规则文件rule_files参数
[root@prometheus rules]# vi keepalived_alerts.ymlgroups:- name: keepalived_alertsrules:- alert: KeepalivedDownexpr: keepalived_status == 0for: 3slabels:severity: criticalannotations:summary: "Keepalived 服务已停止"description: "Keepalived 服务在 {{ $labels.instance }} 上停止运行，请立即通过systemctl status keepalived检查服务状态！"- alert: PrimaryIPReachabilityDownexpr: ip_reachability_primary == 0for: 3slabels:severity: criticalannotations:summary: "主节点虚拟IP不可达"description: "主节点的虚拟 IP {{ $labels.ip }} 在 {{ $labels.instance }} 上不可达，请通过systemctl status keepalived检查服务状态，并且检查虚拟 IP 是否漂移到从库上！"- alert: secondaryIPReachabilityUpexpr: ip_reachability_secondary == 1for: 3slabels:severity: criticalannotations:summary: "虚拟IP漂移到备节点"description: "虚拟 IP {{ $labels.ip }} 已从主节点漂移到 {{ $labels.instance }} ，需要人工干预将其转移回主节点上运行！"

   

3）检查配置文件

[root@prometheus ~]# cd /opt/prometheus/
[root@prometheus ~]# ./promtool check config prometheus.yml      ###用于检查 Prometheus 配置文件（prometheus.yml）的语法和格式是否正确。

执行这条命令会执行以下操作：

  1. 验证配置文件的语法：检查 prometheus.yml 文件是否符合 Prometheus 配置格式规范。
  2. 检测潜在的错误或警告：如果配置文件中存在拼写错误、格式问题、无效的配置项等问题，它会提供相关的错误信息或警告。比如告警规则写的不对，就会有提示
  3. 输出有用的诊断信息：如果配置文件存在问题，promtool 会输出详细的错误信息。
    在这里插入图片描述
       

4）prometheus.yml文件添加了信息，所以重启prometheus进程或者重新加载配置文件（二选一）

#重载：前提是在prometheus.service启动服务项中加了–web.enable-lifecycle参数：–web.enable-lifecycle：###启用Prometheus的生命周期接口，允许通过HTTP请求来动态重新加载配置等操作。这对于在运行时更新配置或执行其他管理操作非常有用，当修改了prometheus的配置后，可以通过curl命令来重新加载配置文件，而不需要重启prometheus（推荐方式）

[root@prometheus ~]# curl -X POST http://localhost:9090/-/reload

   

#重启

[root@prometheus ~]# systemctl restart prometheus.service

   

5）在prometheus查看是否可以看到监控信息

网址：http://110.120.100.21:9090
菜单栏：Status—Targets
在这里插入图片描述

   

四、模拟主库故障，查看告警

主库：
[root@mysql-db1 ~]# service mysqld stop

触发如下告警

在这里插入图片描述
   
   
从库：

触发如下告警

在这里插入图片描述
   
   
    那么可以看到当主库故障时，监控到了主库上的keepalived故障，并且VIP发生了漂移，也收到了VIP在从库上的告警。那么后续就是先修复主库数据后，然后人工将VIP再切换到主库上就可以了，这里博主就不演示了

完结，撒花💓
http://www.xdnf.cn/news/15873.html

相关文章：

  • 在翻译语义相似度和会议摘要相似度评估任务中 ，分类任务 回归任务 生成任务区别
  • 布局AI +文化新赛道，浙江省文化产业投资集团赴景联文科技调研交流
  • uniapp【uni-ui】【vue3】样式覆盖方式记录
  • Git上传与下载GitHub仓库
  • Neo4j 5.x版本的导出与导入数据库
  • 【系统全面】Linux内核原理——基础知识介绍
  • Python-数据库概念-pymysql-元编程-SQLAlchemy-学习笔记
  • 【ASP.NET Core】ASP.NET Core中Redis分布式缓存的应用
  • Python day20 - 特征降维之奇异值分解
  • 隧道代理的动态IP切换机制与实现原理
  • 农村供水智慧化管理系统：从精准监测到智能调度，破解农村用水安全与效率难题
  • 康复器材动静态性能测试台：精准检测，为康复器械安全保驾护航
  • Gradio项目部署到魔搭创空间
  • 开发避坑短篇（3）：解决@vitejs plugin-vue@5.0.5对Vite^5.0.0的依赖冲突
  • [特殊字符] Java反射从入门到飞升：手撕类结构，动态解析一切！[特殊字符]
  • Dockerfile 完全指南：从入门到精通
  • Three.js 全景图（Equirectangular Texture）教程：从加载到球面映射
  • AR技术：石化行业培训的“游戏规则改变者”
  • 【C语言】字符串与字符函数详解（下）
  • 【UE5医学影像可视化】读取dicom数据生成2D纹理并显示
  • Python趣味算法：借书方案知多少 | 排列组合穷举法详解
  • 均值漂移累积监测算法（MDAM）：原理、命名、用途及实现
  • 分治算法---归并
  • 【java】消息推送
  • 编程语言Java入门——核心技术篇（一）封装、继承和多态
  • 响应式编程入门教程第七节：响应式架构与 MVVM 模式在 Unity 中的应用
  • 【Python练习】053. 编写一个函数，实现简单的文件加密和解密功能
  • Filter快速入门 Java web
  • SaTokenException: 未能获取对应StpLogic 问题解决
  • c#:TCP服务端管理类