vCenter与ESXi主机每分钟周期性断连修复
问题概述
最近我的测试服务器借给客户用作临时中转，仅更改了ESXi的管理IP，设备拿回来改回原来IP，vCenter开启后重新接收证书，主机和所有VM管理运行正常，跑着跑着发现主机和vCenter会频繁断开连接后又马上自动恢复，间隔恰好为一分钟
经过初步排查掉网络原因，集群配置原因等（包括重启，重新添加主机）过后，把问题基本先定位在vCenter和ESXi之间的存活检测上，并开始逐步排查修复
排查流程
问题分析：
当vCenter Server与ESXi主机之间的检测信号（Heartbeat）数据包因被丢弃、阻止或传输失败而丢失时，会导致主机从vCenter清单中断开连接
检测机制如下：
- 默认情况下，ESXi主机通过UDP 902端口以固定间隔向vCenter Server发送检测信号数据包（频率为每10秒1次）
- vCenter Server需持续接收这些数据包以确认主机在线状态。若连续丢失6个检测信号包（即60秒未收到响应），vCenter会判定主机离线，并将其从清单中移除，直至通信恢复
本身vCenter和ESXi管理地址都在同一网段，VCSA的VM与ESXi的管理Kernal也都在同一物理网卡上，同时外部ping两边都正常，所以先通过主机和VC之间探测UDP 902的包是否能正常通信，发现确实无法正常通信
[root@RS-ESXi01:~] tcpdump-uw dst host 10.101.101.200 and udp port 902
tcpdump-uw: verbose output suppressed, use -v[v]... for full protocol decode
listening on vmk0, link-type EN10MB (Ethernet), snapshot length 262144 bytes0 packets captured
0 packets received by filter
0 packets dropped by kernel
查看vCenter的IP正常
root@rsvc [ ~ ]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0c:29:a2:5f:2b inet addr:10.101.101.200 Bcast:10.101.101.255 Mask:255.255.255.0UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1RX packets:1527 errors:0 dropped:0 overruns:0 frame:0TX packets:658 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:1000 RX bytes:361918 (361.9 KB) TX bytes:1096029 (1.0 MB)lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0UP LOOPBACK RUNNING MTU:65536 Metric:1RX packets:195097 errors:0 dropped:0 overruns:0 frame:0TX packets:195097 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:1000 RX bytes:235667102 (235.6 MB) TX bytes:235667102 (235.6 MB)
此时进入vCenter的高级设置中，发现manageIP一项的参数内的IP与vCenter的真实IP不一致！此IP为另一网段的一台跳板机IP，知道最后也无法理解为何会出现在这边，唯一能稍微有点联系的是一周前曾测试了vCenter的防火墙策略，把这个IP作为除ESXi管理IP之外的一个白名单IP，后续也已全部删除o(╥﹏╥)o
那不管怎样，这边既然不正常了那先改回真实的vCenter IP
完成等SSH登录主机，通过以下命令看到主机指向的Server_IP确实也不正确
#确认当前主机Server_IP
[root@RS-ESXi01:~] configstorecli config current get -c esx -g services -k vpxa_solution_user_config |grep -i server_ip"server_ip": "10.102.102.10",
通过命令修改
#手动更改ESXi的Server_IP为实际的vCenter IP
[root@RS-ESXi01:~] configstorecli config current set -c esx -g services -k vpxa_solution_user_config --path /server_ip --value "10.101.101.200"
Set: completed successfully#确认更改正常
[root@RS-ESXi01:~] configstorecli config current get -c esx -g services -k vpxa_solution_user_config |grep -i server_ip"server_ip": "10.101.101.200",#重启服务
[root@RS-ESXi01:~] /etc/init.d/vpxa restart
vpxa stopped.
vpxa started.
完成后发现问题仍然存在，回到主机查看server_ip又自动改回之前的错误IP
继续查找高级设，其中AutoManagedIPV4一项仍为错误IP，会继续使用这个错误IP与ESXi发送检测信号，并且此处在高级设置内为灰色，无法直接进行修改
在vCenter的常规设置，运行时（RunTime）设置内，可编辑更改该IP
完成更改后保存并重启vCenter
最后问题解决，UDP 902的包也测试正常
[root@RS-ESXi01:~] tcpdump-uw dst host 10.101.101.200 and udp port 902
tcpdump-uw: verbose output suppressed, use -v[v]... for full protocol decode
listening on vmk0, link-type EN10MB (Ethernet), snapshot length 262144 bytes
09:25:21.937771 IP RS-ESXi01.47969 > 10.101.101.200.902: UDP, length 336
09:25:31.944580 IP RS-ESXi01.23086 > 10.101.101.200.902: UDP, length 336
09:25:41.950656 IP RS-ESXi01.52895 > 10.101.101.200.902: UDP, length 336
09:25:51.956734 IP RS-ESXi01.37494 > 10.101.101.200.902: UDP, length 336
09:26:01.962682 IP RS-ESXi01.36495 > 10.101.101.200.902: UDP, length 3365 packets captured
5 packets received by filter
0 packets dropped by kernel
小结
其实到最后也没排查到问题发生的根本原因，整体来说，本篇文章适用于以下情况：
vCenter与ESXi主机的周期性断连，造成的原因包括但不限于：
- 更改了vCenter的IP （主要）
- 配置过vCenter的防火墙规则
- ESXi主机来回更改过管理IP
- 其他未知原因
参考KB：
1.https://knowledge.broadcom.com/external/article/323612/esxi-host-disconnects-from-vcenter-serve.html
2.https://knowledge.broadcom.com/external/article?legacyId=1001493
3.https://knowledge.broadcom.com/external/article/316377/verifying-the-vcenter-server-managed-ip.html
4.https://knowledge.broadcom.com/external/article/318647/esxi-host-disconnects-intermittently-fro.html
5.https://knowledge.broadcom.com/external/article/337654/changing-vcenter-server-ip-address-cause.html