CentOS7下的Kafka集群安装部署

一、Kafka 核心概念与集群架构

1.1 分布式消息队列的核心价值

Kafka 是由 Apache 开发的分布式流处理平台，核心特性包括：

• 高吞吐量：支持每秒数十万级消息处理，适用于日志采集、实时分析等场景。
• 持久化存储：消息按分区持久化到磁盘，支持数据重放和回溯。
• 分布式架构：通过分区（Partition）和副本（Replica）实现水平扩展与高可用性。
• 生态集成：无缝对接 Flink、Spark Streaming 等大数据组件（文档段落）。

典型应用场景：

• 实时数据管道（如用户行为日志采集）
• 微服务异步通信（解耦服务间依赖）
• 数据实时分析（配合 Flink 实现实时统计）

二、集群环境规划与前置准备

2.1 集群节点规划（3 节点示例）

节点名称	IP 地址	角色	数据目录	端口规划
kafka-node1	192.168.88.130	主 Broker（分区 Leader）	/data/kafka/data	9092
kafka-node2	192.168.88.131	从 Broker（Follower）	/data/kafka/data	9092
kafka-node3	192.168.88.132	从 Broker（Follower）	/data/kafka/data	9092

2.2 前置依赖安装（所有节点）

1. JDK 环境（需 1.8+，文档段落）：

   bash

   yum install -y java-1.8.0-openjdk-devel
   java -version # 验证版本
   

2. Zookeeper 集群（Kafka 元数据存储，需提前部署）：

   bash

   # 参考Zookeeper部署指南，确保3节点集群运行正常
   

三、Kafka 单机安装与配置

3.1 下载与解压安装包

bash

# 下载Kafka 2.4.1（文档段落）
wget http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz# 解压到指定目录
tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka # 创建软链接

3.2 核心配置文件解析

3.2.1 主配置文件server.properties（文档段落）

properties

# 基本配置
broker.id=1 # 节点唯一标识（kafka-node1填1，node2填2，node3填3）
listeners=PLAINTEXT://kafka-node1:9092 # 监听地址（各节点需替换为自身IP）
advertised.listeners=PLAINTEXT://kafka-node1:9092 # 对外暴露地址
num.network.threads=3 # 网络线程数，处理客户端连接
num.io.threads=8 # I/O线程数，处理消息读写# 存储配置
log.dirs=/data/kafka/data # 日志存储目录（可逗号分隔多个路径）
num.partitions=1 # 新建主题默认分区数
default.replication.factor=1 # 新建主题默认副本数# 集群配置
zookeeper.connect=zk-node1:2181,zk-node2:2181,zk-node3:2181 # Zookeeper集群地址

3.2.2 其他配置优化

properties

# 性能优化
socket.send.buffer.bytes=102400 # 发送缓冲区大小
socket.receive.buffer.bytes=102400 # 接收缓冲区大小
socket.request.max.bytes=104857600 # 最大请求大小（100MB）# 持久化
log.retention.hours=72 # 日志保留时间（72小时）
log.cleaner.enable=true # 启用日志清理机制

四、集群化部署：节点间配置同步

4.1 分发安装目录到其他节点

bash

# 在kafka-node1执行，复制到node2/node3
scp -r /export/server/kafka kafka-node2:/export/server/
scp -r /export/server/kafka kafka-node3:/export/server/

4.2 修改各节点配置参数

4.2.1 kafka-node2 配置调整

properties

broker.id=2
listeners=PLAINTEXT://kafka-node2:9092
advertised.listeners=PLAINTEXT://kafka-node2:9092

4.2.2 kafka-node3 配置调整

properties

broker.id=3
listeners=PLAINTEXT://kafka-node3:9092
advertised.listeners=PLAINTEXT://kafka-node3:9092

五、集群启动与状态验证

5.1 启动单个节点服务

bash

# 前台启动（测试环境，查看日志）
/export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties# 后台启动（生产环境）
nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties &

5.2 验证集群状态

5.2.1 检查进程（所有节点执行）

bash

jps | grep Kafka # 应显示Kafka进程ID

5.2.2 查看主题列表（kafka-node1 执行）

bash

/export/server/kafka/bin/kafka-topics.sh --zookeeper zk-node1:2181 --list
# 初始状态应无主题

六、主题管理与消息生产消费测试

6.1 创建测试主题

bash

# 创建名为'test'的主题，3个分区，2个副本（文档段落）
/export/server/kafka/bin/kafka-topics.sh --create \
--zookeeper zk-node1:2181 \
--replication-factor 2 \
--partitions 3 \
--topic test

6.2 启动消息生产者

bash

# 在kafka-node1执行，输入消息后按Ctrl+C停止
/export/server/kafka/bin/kafka-console-producer.sh \
--broker-list kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 \
--topic test

6.3 启动消息消费者

bash

# 在kafka-node2执行，实时接收消息
/export/server/kafka/bin/kafka-console-consumer.sh \
--bootstrap-server kafka-node1:9092 \
--topic test \
--from-beginning

七、性能优化与生产配置

7.1 分区与副本策略优化

7.1.1 动态调整分区数

bash

/export/server/kafka/bin/kafka-topics.sh --alter \
--zookeeper zk-node1:2181 \
--topic test \
--partitions 5

7.1.2 增加副本数（提升可用性）

bash

/export/server/kafka/bin/kafka-topics.sh --alter \
--zookeeper zk-node1:2181 \
--topic test \
--replication-factor 3

7.2 内存与磁盘优化

7.2.1 调整 JVM 参数（kafka-server-start.sh）

bash

vim /export/server/kafka/bin/kafka-server-start.sh
# 增加以下配置（根据节点内存调整，建议不超过物理内存的70%）
export KAFKA_HEAP_OPTS="-Xms4g -Xmx4g -XX:+UseG1GC"

7.2.2 磁盘挂载优化

bash

# 使用SSD磁盘，并设置nobarrier挂载选项
mount -o noatime,nobarrier /dev/sdb1 /data/kafka/data

八、监控与故障排查

8.1 内置监控命令

8.1.1 查看主题详情

bash

/export/server/kafka/bin/kafka-topics.sh --describe \
--zookeeper zk-node1:2181 \
--topic test

输出说明：

• PartitionCount：分区数
• ReplicationFactor：副本数
• Leader：分区 Leader 所在节点
• Replicas：副本分布节点

8.1.2 监控消息吞吐量

bash

# 生产者吞吐量（每秒消息数）
watch -n 1 "./kafka-producer-perf-test.sh --topic test --num-records 100000 --record-size 100 --throughput -1 --broker-list kafka-node1:9092"

8.2 常见故障处理

故障现象	可能原因	解决方法
节点无法加入集群	broker.id 重复或 Zookeeper 连接失败	检查配置文件中 broker.id 和 zookeeper.connect
消息发送失败	主题不存在或权限不足	创建主题或配置 ACL 权限
磁盘利用率过高	日志保留时间过长或吞吐量过大	调整 log.retention.hours 或增加磁盘空间

九、生产环境最佳实践

9.1 部署架构图

9.2 安全与权限控制

9.2.1 启用 SSL 加密

properties

# 在server.properties添加
listeners=SSL://:9092
ssl.key.location=/etc/kafka/keys/server.key
ssl.cert.location=/etc/kafka/keys/server.crt
ssl.truststore.location=/etc/kafka/keys/truststore.jks

9.2.2 配置 ACL 权限

bash

# 创建用户
/export/server/kafka/bin/kafka-configs.sh --zookeeper zk-node1:2181 --alter --add-config 'SCRAM-SHA-256=[user=admin,pass=admin123]' --entity-type users --entity-name admin# 授权用户访问主题
/export/server/kafka/bin/kafka-acls.sh --zookeeper zk-node1:2181 --add --allow-principal User:admin --operation Read,Write --topic test

十、总结：Kafka 集群部署核心流程

通过本文的实战指南，可掌握 Kafka 从单机配置到 3 节点集群的完整部署流程，涵盖环境规划、参数调优、监控测试及安全加固。生产环境中需根据业务流量动态调整分区数与副本策略，结合 Prometheus+Grafana 构建实时监控体系，并利用 Kafka MirrorMaker 实现跨数据中心数据同步。参考官方文档（Kafka Documentation）可进一步学习流处理、连接器等高级特性。