Kafka入门-监控与可视化
Kafka监控
安装MySQL
首先确定没有安装过mysql
rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -ee --nodeps
下载mysql
wget --no-check-certificate http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
开始安装
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server --nogpgcheck
启动mysql
systemctl start mysqld.service
查看mysql初始密码
sudo cat /var/log/mysqld.log | grep password
利用初始密码登录mysql
mysql -uroot -p'xxx'
设置复杂密码
set password=password("xxxXX8");
更改mysql密码策略
set global validate_password_length=4;
set global validate_password_policy=0;
设置简单密码
set password=password("000000");
进入mysql库
use mysql;
查询user表
select user, host from user;
修改user表，把host表内容改为%
update user set host="%" where user="root";
刷新
flush privileges;
Kafka环境准备
关闭Kafka
kf.sh stop
进入到安装目录下修改bin/kafka-server-start.sh文件
vim bin/kafka-server-start.sh
修改原有的参数
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; thenexport KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
为
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; thenexport KAFKA_HEAP_OPTS="-Xmx2G -Xms2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"export JMX_PORT="9999"
fi
分发修改好的文件
xsync kafka-server-start.sh
启动kafka
kf.sh start
安装Kafka-Eagle
首先到官网下载安装包
https://www.kafka-eagle.org/
将安装包放入虚拟机中，并解压
tar -zxvf kafka-eagle-bin-3.0.1.tar.gz
进入解压后的文件夹，发现里面又是一个压缩包
[root@centos101 kafka-eagle-bin-3.0.1]# ls
efak-web-3.0.1-bin.tar.gz
将这个压缩包再次解压
tar -zxvf efak-web-3.0.1-bin.tar.gz
进入解压后的文件内修改配置文件conf/system-config.properties
vim system-config.properties
修改
efak.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181
为
efak.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.27.101:2181,192.168.27.102:2181,192.168.27.103:2181/kafka
注释掉这行代码
#cluster2.efak.offset.storage=zk
配置mysql
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=000000
配置环境变量
vim /etc/profile.d/my_env.sh
#KAFKA_EFAK
export KE_HOME=/mydata/kafka/kafka-eagle-bin-3.0.1/efak-web-3.0.1
export PATH=$PATH:$KE_HOME/bin
执行source操作
source /etc/profile
启动efak，在安装目录下执行命令
bin/ke.sh start
浏览器访问页面，用提示的账户和密码登录进去，就可以访问到主页面
可以可视化的查看kafka内的信息