CentOS7下的ZooKeeper部署

一、ZooKeeper 核心概念与应用场景

1.1 分布式协调服务的核心作用

ZooKeeper 是 Apache 开源的分布式协调框架，核心功能包括：

• 配置管理：集中存储集群配置（如 Hadoop/Spark 的全局参数）。
• 分布式同步：提供分布式锁、队列机制（如 Kafka 的分区分配）。
• 节点监控：监听集群节点状态变化（如 HBase 的 RegionServer 上下线通知）。
• 元数据管理：存储分布式系统的元数据（如分布式文件系统的目录结构）。

典型应用场景：

• 大数据生态：作为 Hadoop、HBase、Kafka 的集群协调组件（文档段落）。
• 微服务架构：实现服务注册与发现（如 Dubbo 的注册中心）。
• 分布式锁：解决分布式环境下的资源竞争问题（如分布式事务中的锁管理）。

二、环境前置准备：集群基础架构搭建

2.1 集群规划与资源配置

2.1.1 节点规划（3 节点集群）

节点名称	IP 地址	角色	数据目录	端口规划
zk-node1	192.168.88.130	主节点（Leader 候选）	/data/zookeeper/data	2181（客户端）
				3888（选举）
				2888（通信）
zk-node2	192.168.88.131	从节点（Follower）	/data/zookeeper/data	同上
zk-node3	192.168.88.132	从节点（Follower）	/data/zookeeper/data	同上

2.1.2 前置操作（所有节点执行）

1. 关闭防火墙与 SELinux（文档段落）：

   bash

   systemctl stop firewalld && systemctl disable firewalld
   sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinux
   reboot
   

2. 配置主机名映射（文档段落）：

   bash

   echo "192.168.88.130 zk-node1" >> /etc/hosts
   echo "192.168.88.131 zk-node2" >> /etc/hosts
   echo "192.168.88.132 zk-node3" >> /etc/hosts
   

3. SSH 免密登录（文档段落）：

   bash

   ssh-keygen -t rsa -b 4096 -N ""
   ssh-copy-id zk-node1 && ssh-copy-id zk-node2 && ssh-copy-id zk-node3
   

三、单机安装：从下载到初始化

3.1 下载与解压安装包

bash

# 下载ZooKeeper 3.5.9（文档段落）
wget http://archive.apache.org/dist/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz# 解压到指定目录
tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz -C /export/server/
ln -s /export/server/apache-zookeeper-3.5.9 /export/server/zookeeper  # 创建软链接

3.2 核心配置文件调整

3.2.1 修改zoo.cfg配置（文档段落）

bash

vim /export/server/zookeeper/conf/zoo.cfg

properties

# 基础配置
tickTime=2000          # 心跳间隔（ms）
dataDir=/export/server/zookeeper/data  # 数据存储目录
clientPort=2181        # 客户端连接端口
initLimit=5            # Leader选举超时时间（tickTime倍数）
syncLimit=2            # 数据同步超时时间（tickTime倍数）# 集群节点配置（3节点）
server.1=zk-node1:2888:3888
server.2=zk-node2:2888:3888
server.3=zk-node3:2888:3888

3.2.2 创建 myid 文件（文档段落）

• zk-node1 执行：

  bash

  mkdir -p /export/server/zookeeper/data
  echo "1" > /export/server/zookeeper/data/myid
  

• zk-node2 执行：

  bash

  echo "2" > /export/server/zookeeper/data/myid
  

• zk-node3 执行：

  bash

  echo "3" > /export/server/zookeeper/data/myid
  

四、集群化部署：从单机到分布式

4.1 分发配置到其他节点

bash

# 在zk-node1执行，将ZooKeeper目录复制到zk-node2/zk-node3
scp -r /export/server/zookeeper zk-node2:/export/server/
scp -r /export/server/zookeeper zk-node3:/export/server/

4.2 权限与路径验证

bash

# 所有节点检查数据目录权限
chown -R root:root /export/server/zookeeper
ls /export/server/zookeeper/data/myid  # 确保myid文件存在且内容正确

4.3 启动集群服务

4.3.1 单节点启动命令（所有节点执行）

bash

/export/server/zookeeper/bin/zkServer.sh start  # 前台启动（测试环境）
# 或后台启动：
nohup /export/server/zookeeper/bin/zkServer.sh start &

4.3.2 状态检查（文档段落）

bash

# 查看节点状态（Leader/Follower）
/export/server/zookeeper/bin/zkServer.sh status

预期输出：

• Leader 节点：Mode: leader
• Follower 节点：Mode: follower

五、核心功能验证与测试

5.1 客户端连接测试

bash

# 连接本地ZooKeeper（文档段落）
/export/server/zookeeper/bin/zkCli.sh -server zk-node1:2181# 执行简单命令
create /test "hello zookeeper"  # 创建节点
get /test  # 查看节点数据
delete /test  # 删除节点

5.2 集群故障转移测试

1. 模拟 Leader 节点故障：

   bash

   ssh zk-node1 "/export/server/zookeeper/bin/zkServer.sh stop"  # 停止zk-node1
   

2. 观察新 Leader 选举：

   bash

   ssh zk-node2 "/export/server/zookeeper/bin/zkServer.sh status"  # 应显示Mode: leader
   

3. 重启原 Leader 节点：

   bash

   ssh zk-node1 "/export/server/zookeeper/bin/zkServer.sh start"
   ssh zk-node1 "/export/server/zookeeper/bin/zkServer.sh status"  # 应显示Mode: follower
   

六、性能优化与生产配置

6.1 内存与文件描述符优化

6.1.1 调整 JVM 内存（zookeeper-env.sh）

bash

vim /export/server/zookeeper/bin/zookeeper-env.sh
export JVMFLAGS="-Xms1g -Xmx1g -XX:+UseG1GC"  # 生产环境建议1-4GB，根据节点内存调整

6.1.2 提升文件句柄限制（/etc/security/limits.conf）

bash

*               soft    nofile          65536
*               hard    nofile          131072

6.2 数据持久化策略

6.2.1 启用快照压缩（zoo.cfg）

properties

autopurge.snapRetainCount=3  # 保留最近3个快照
autopurge.purgeInterval=12  # 每12小时清理一次过期快照

6.2.2 分离数据与日志目录

bash

mkdir /export/server/zookeeper/logs
echo "dataLogDir=/export/server/zookeeper/logs" >> /export/server/zookeeper/conf/zoo.cfg

七、监控与告警体系

7.1 内置监控指标

bash

# 查看集群状态（文档段落）
echo ruok | nc zk-node1 2181  # 应返回imok
/export/server/zookeeper/bin/zkServer.sh status

7.2 集成 Prometheus 监控

7.2.1 安装 Exporter

bash

wget https://github.com/danops/zookeeper_exporter/releases/latest/download/zookeeper_exporter-*.tar.gz
tar -zxvf zookeeper_exporter-*.tar.gz -C /opt/

7.2.2 配置 Prometheus

yaml

# prometheus.yml
scrape_configs:- job_name: 'zookeeper'static_configs:- targets: ['zk-node1:9373', 'zk-node2:9373', 'zk-node3:9373']  # exporter默认端口9373

7.3 告警规则示例（基于 Prometheus）

yaml

alert: ZooKeeperLeaderLoss
expr: zk_server_state{state="leader"} == 0
for: 2m
labels:severity: critical
annotations:summary: "ZooKeeper集群无Leader节点"

八、常见问题与解决方案

8.1 节点无法加入集群

可能原因：

1. myid 文件错误：检查dataDir/myid是否与配置中的server.x一致（文档段落）。
2. 端口阻塞：确保 2181（客户端）、2888（通信）、3888（选举）端口互通。
3. 集群配置错误：zoo.cfg中server.x的 IP / 主机名是否正确解析。

解决方法：

bash

# 示例：修复zk-node2的myid错误
ssh zk-node2 "echo 2 > /export/server/zookeeper/data/myid"
systemctl restart zookeeper

8.2 数据同步延迟过高

优化措施：

1. 增加syncLimit配置（如从 2→5，允许更长的同步时间）。
2. 检查网络延迟，确保节点间 RTT<1ms（使用ping -c 1000 zk-node2统计延迟）。
3. 减少非必要的客户端连接，避免带宽占用。

8.3 快照文件过大导致磁盘不足

解决方案：

1. 启用自动清理策略（autopurge参数，文档段落）。
2. 配置外部存储（如 NFS 共享存储），扩展磁盘容量。
3. 删除过期快照（谨慎操作）：

   bash

   ls -lt /export/server/zookeeper/data/*.snap | tail -n +4 | xargs rm -f  # 删除旧于3个的快照
   

九、生产环境最佳实践

9.1 部署架构建议

9.2 灾备与恢复

1. 定期备份：

   bash

   crontab -e
   0 2 * * * rsync -avz /export/server/zookeeper/data/ /backup/zookeeper/  # 每日2点备份
   

2. 异地容灾：通过zk-replicate工具实现跨数据中心数据同步。

9.3 版本升级策略

1. 滚动升级：逐个停止节点，升级版本后重新加入集群。
2. 兼容性检查：确保升级后的版本与下游组件（如 Kafka 2.8 + 需 ZooKeeper 3.5+）兼容。

十、总结：ZooKeeper 集群部署核心链路

通过本文的实战指南，可掌握从 ZooKeeper 单机安装到 3 节点集群部署的全流程，涵盖环境准备、配置优化、故障测试及监控体系。生产环境中需结合业务流量动态调整节点资源，并利用 ZooKeeper 的原生特性（如 Watch 机制、ACL 权限）构建可靠的分布式协调系统。参考官方文档（ZooKeeper Documentation）可进一步学习高级特性如动态扩展、安全认证等