当前位置： 首页 > web >正文

K8S集群环境搭建（一）

web 2025/8/18 18:36:15

虚拟机镜像

ubuntu 24

虚拟机网络

虚拟网络–配置

nat模式

20250803132226

20250803132235

主机ip配置

20250803132528

宿主机ip配置

10.0.0.12 master 2c
10.0.0.15 node1
10.0.0.16 node2
10.0.0.17 node3
10.0.0.20 register


sudo vi /etc/netplan/00-installer-config.yaml  # 替换为实际文件名
sudo netplan apply

network:version: 2renderer: networkd  # 服务器版用 networkd；桌面版可改为 NetworkManagerethernets:ens33:  # 替换为你的网卡名称dhcp4: no  # 关闭 DHCPaddresses:- 10.0.0.15/24  # 静态 IP/子网掩码（CIDR 格式）routes:- to: defaultvia: 10.0.0.2  # 网关地址nameservers:addresses: [8.8.8.8, 8.8.4.4]  # DNS 服务器

虚拟机–局域网内–域名配置

10.0.0.12    kubernetes-master.sswang.com  kubernetes-master
10.0.0.15    kubernetes-node1.sswang.com  kubernetes-node1
10.0.0.16    kubernetes-node2.sswang.com  kubernetes-node2
10.0.0.17    kubernetes-node3.sswang.com  kubernetes-node3
10.0.0.20    kubernetes-register.sswang.com  kubernetes-register

密钥

ssh-keygen -t rsa
ssh-copy-id root@10.0.0.15
ssh-copy-id root@10.0.0.16
ssh-copy-id root@10.0.0.17
ssh-copy-id root@10.0.0.20

设置root用户密码： 如果root用户没有设置密码，需要设置一个密码： sudo passwd root

修改SSH配置文件： 编辑/etc/ssh/sshd_config文件，找到PermitRootLogin配置项，并将其修改为yes： sudo vim /etc/ssh/sshd_config 将以下内容： #PermitRootLogin prohibit-password 修改为： PermitRootLogin yes

systemctl restart ssh

主机名设置


hostnamectl set-hostname kubernetes-masterssh root@10.0.0.15 "hostnamectl set-hostname kubernetes-node1"ssh root@10.0.0.16 "hostnamectl set-hostname kubernetes-node2"ssh root@10.0.0.17 "hostnamectl set-hostname kubernetes-node3"ssh root@10.0.0.20 "hostnamectl set-hostname kubernetes-register"

swap分区禁用

Kubernetes 为什么要求禁用 Swap？

Kubernetes 的设计初衷是确保容器能够获得预期的资源（CPU、内存）。当节点上的内存不足时，操作系统会使用 Swap 空间将部分内存数据换出到磁盘上。然而，这种行为会导致以下问题：

  1. 性能下降：磁盘 I/O 速度远低于内存，使用 Swap 会显著降低应用程序性能。
  2. 资源调度不可预测：Kubernetes 调度器无法感知 Swap 的使用情况，它只能基于节点的实际物理内存进行调度决策。如果节点因为 Swap 而“看起来”有足够内存，但实际上物理内存不足，会导致容器性能急剧下降。
  3. 稳定性问题：当内存压力大时，频繁的 Swap 换入换出可能导致节点不稳定，甚至引发 OOM（Out-Of-Memory）问题。
  4. 资源统计不准确：kubelet 在报告节点资源使用情况时，无法准确反映 Swap 的使用，这会影响集群的自动伸缩（HPA/VPA）和资源配额管理。

# 临时禁用
swapoff -a# 永久禁用
sed -i 's/.*swap.*/#&/' /etc/fstab# 内核参数调整
cat >> /etc/sysctl.d/k8s.conf << EOF
vm.swappiness=0
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF## 创建自定义内核模块自动加载服务，开机自动加载systemd-modules-load服务，自动加载modules-load.d下的所有服务
sudo tee /etc/modules-load.d/br_netfilter.conf <<EOF
br_netfilter
EOFsudo tee /etc/modules-load.d/overlay.conf <<EOF
overlay
EOFsysctl -p /etc/sysctl.d/k8s.conf# 验证
free -h  # 应显示 Swap 行全为0

20250803144843

关闭swap分区后需要重启系统

20250803144246

for i in 15 16 17 20
do
scp /etc/fstab root@10.0.0.$i:/etc/fstab
scp /etc/sysctl.d/k8s.conf root@10.0.0.$i:/etc/sysctl.d/k8s.conf
scp /etc/modules-load.d/br_netfilter.conf root@10.0.0.$i:/etc/modules-load.d/br_netfilter.conf
scp /etc/modules-load.d/overlay.conf root@10.0.0.$i:/etc/modules-load.d/overlay.conf
ssh root@10.0.0.$i "systemctl restart systemd-modules-load"
ssh root@10.0.0.$i "sysctl -p /etc/sysctl.d/k8s.conf"
done

安装k8s （adm）

https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

20250803110828

容器运行时环境

# 更新软件包索引
sudo apt update# 安装必要的依赖工具
sudo apt install -y \ca-certificates \curl \gnupg \lsb-release \software-properties-common

添加 Docker 官方 GPG 密钥

# 创建密钥存储目录
sudo install -m 0755 -d /etc/apt/keyrings# 下载并添加 Docker 的官方 GPG 密钥（使用阿里云镜像）
curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg# 设置密钥文件权限
sudo chmod a+r /etc/apt/keyrings/docker.gpg

4. 添加 Docker 软件源

# 添加 Docker 软件源（使用阿里云镜像）
echo \"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu \$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

5. 安装 Docker Engine

# 更新软件包索引
sudo apt update# 安装 Docker CE、CLI 和 containerd
sudo apt install -y docker-ce docker-ce-cli containerd.io# 检查安装的版本
docker --version
docker compose version

其中containerd.io是docker-engine 所需要的服务

20250810153639

containerd.sock & Docker (dockerd.sock) 的区别

运行环境中的容器运行时接口两者依赖关系如下，所以两者都安装了。
20250810115415

核心作用
  1. 容器运行时接口（CRI）：
  • 提供标准的 gRPC 接口，使 Kubernetes 能够管理容器生命周期
  • Kubernetes kubelet 通过这个 socket 与 containerd 通信
  1. 容器操作通道：
  • 创建/启动/停止/删除容器
  • 拉取容器镜像
  • 管理容器网络
  • 执行容器内命令
  1. 低级别容器管理：
  • 直接与 Linux 内核的容器功能交互（cgroups、namespaces）
  • 管理容器文件系统（通过快照机制）

6. 配置国内镜像加速器

为了提高 Docker 镜像的下载速度，编辑 /etc/docker/daemon.json 配置文件,需要配置国内镜像加速器：

因为一些限制，所以能用的加速源不多，欢迎大家分享可用的加速源。这里加速源不一定能用。

# 创建 Docker 配置目录（如果不存在）
sudo mkdir -p /etc/docker# 编辑 daemon.json 配置文件
sudo tee /etc/docker/daemon.json > /dev/null << EOF
{"registry-mirrors": ["http://74f21445.m.daocloud.io","https://docker.xuanyuan.me","https://docker.1ms.run","https://registry.docker-cn.com","https://docker.mirrors.ustc.edu.cn","https://hub-mirror.c.163.com"],"dns": ["8.8.8.8", "8.8.4.4"],"log-driver": "json-file","log-opts": {"max-size": "10m","max-file": "3"},"storage-driver": "overlay2","insecure-registries": ["kubernetes-register.sswang.com:80"]
}
EOF# 重新加载 systemd 配置
sudo systemctl daemon-reload# 重启 Docker 服务使配置生效
sudo systemctl restart dockersystemctl status docker

7. 验证安装

# 运行测试容器
sudo docker run hello-world# 查看 Docker 信息
sudo docker info

8. 开机启动docker

sudo systemctl enable docker
sudo systemctl is-enabled docker  # 应返回 "enabled"
docker info | grep "Storage Driver"

9. docker compose 安装使用


# 检查是否已安装 Docker Compose
docker compose version# 如果未安装，手动安装
sudo apt install docker-compose-plugin# 或者使用 pip 安装（需要先安装 Python）
pip install docker-compose

10. 完全卸载docker

# 停止所有运行的容器
docker stop $(docker ps -aq)# 删除所有容器
docker rm $(docker ps -aq)# 删除所有镜像
docker rmi $(docker images -q)# 卸载 Docker 软件包
sudo apt purge docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin# 删除相关目录和文件
sudo rm -rf /var/lib/docker
sudo rm -rf /var/lib/containerd
sudo rm -rf /etc/docker# 删除软件源配置
sudo rm /etc/apt/sources.list.d/docker.list
sudo rm /etc/apt/keyrings/docker.gpg# 清理用户组设置
sudo deluser $USER docker

11. 总

#!/bin/sh
set -ex# 更新软件包索引
sudo apt update# 安装必要的依赖工具
sudo apt install -y ca-certificates curl gnupg lsb-release software-properties-common# 创建密钥存储目录
sudo install -m 0755 -d /etc/apt/keyrings# 下载并添加 Docker 的官方 GPG 密钥（使用阿里云镜像）
curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg# 设置密钥文件权限
sudo chmod a+r /etc/apt/keyrings/docker.gpg# 添加 Docker 软件源（使用阿里云镜像）
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null# 更新软件包索引
sudo apt update# 安装 Docker CE、CLI 和 containerd
sudo apt install -y docker-ce docker-ce-cli containerd.io# 检查安装的版本
docker --version
docker compose versionsudo systemctl enable docker
sudo systemctl is-enabled docker  # 应返回 "enabled"
docker info | grep "Storage Driver"sudo mkdir -p /etc/docker# 编辑 daemon.json 配置文件 registry主机（hub） 不需要
sudo tee /etc/docker/daemon.json > /dev/null << EOF
{"registry-mirrors": ["http://74f21445.m.daocloud.io","https://docker.xuanyuan.me","https://docker.1ms.run","https://registry.docker-cn.com","https://docker.mirrors.ustc.edu.cn","https://hub-mirror.c.163.com"],"dns": ["8.8.8.8", "8.8.4.4"],"log-driver": "json-file","log-opts": {"max-size": "10m","max-file": "3"},"storage-driver": "overlay2","insecure-registries": ["kubernetes-register.sswang.com:80"]
}
EOF# 重新加载 systemd 配置
sudo systemctl daemon-reload# 重启 Docker 服务使配置生效
sudo systemctl restart dockersystemctl status docker# 重新加载 systemd 配置
sudo systemctl daemon-reload# 重启 Docker 服务使配置生效
sudo systemctl restart dockersystemctl status dockersudo systemctl enable docker
sudo systemctl is-enabled docker  # 应返回 "enabled"
docker info | grep "Storage Driver"sudo docker run hello-world# 查看 Docker 信息
sudo docker info

cri环境操作

用于k8s运行时控制docker engine。

注意：所有主机操作

获取软件

mkdir /data/softs -p && cd /data/softs
wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.2/cri-dockerd-0.3.2.amd64.tgz# 解压软件
tar -xvf cri-dockerd-0.3.2.amd64.tgz
mv cri-dockerd/cri-dockerd /usr/local/bin/

设置开机启动cri-dockerd服务，配置socket

cat > /etc/systemd/system/cri-dockerd.service <<-EOF
[Unit]
Description=CRI Interface for Docker Application Container Engine
Documentation=https://docs.mirantis.com
After=network-online.target firewalld.service docker.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/local/bin/cri-dockerd --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.9 --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin --container-runtime-endpoint=unix:///var/run/cri-dockerd.sock --cri-dockerd-root-directory=/var/lib/dockershim --docker-endpoint=unix:///var/run/docker.sock --cri-dockerd-root-directory=/var/lib/docker
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
StartLimitBurst=3
StartLimitInterval=60s
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TasksMax=infinity
Delegate=yes
KillMode=process
[Install]
WantedBy=multi-user.target
EOF

此 systemd 服务文件用于配置 cri-dockerd 服务，主要包含：

  1. 定义服务在 docker 和网络服务之后启动
  2. 指定 cri-dockerd 的执行参数：
  • 使用阿里云镜像仓库的 pause 容器
  • 配置 CNI 网络插件路径
  • 设置容器运行时和 docker 的 unix socket 路径
  • 指定存储目录路径
  1. 配置服务重启策略和资源限制
  2. 设置系统启动时自动启用服务
cat > /etc/systemd/system/cri-dockerd.socket <<-EOF
[Unit]
Description=CRI Docker Socket for the API
PartOf=cri-docker.service[Socket]
ListenerStream=/var/run/cri-dockerd.sock
SocketMode=0660
SocketUser=root
SocketGroup=docker[Install]
WantedBy=sockets.target
EOF

20250803163334

同步从节点

for i in 15 16 17 20
dossh root@10.0.0.$i "systemctl stop cri-dockerd &&  rm -rf /etc/systemd/system/cri-dockerd.socket && rm -rf /etc/systemd/system/cri-dockerd.service && rm -rf /data/softs/cri-dockerd/cri-dockerd"scp  /data/softs/cri-dockerd/cri-dockerd root@10.0.0.$i:/usr/local/binscp  /etc/systemd/system/cri-dockerd.socket root@10.0.0.$i:/etc/systemd/systemscp /etc/systemd/system/cri-dockerd.service root@10.0.0.$i:/etc/systemd/systemssh root@10.0.0.$i "systemctl daemon-reload && systemctl restart cri-dockerd && systemctl enable cri-dockerd"ssh root@10.0.0.$i "systemctl status cri-dockerd | grep Active"
done

harbor仓库

# 下载软、】
mkdir /data/{softs,server} -p && cd /data/softs
wget https://github.com/goharbor/harbor/releases/download/v2.5.0/harbor-offline-installer-v2.5.0.tgz# 解压软件
tar -zxvf harbor-offline-installer-v2.5.0.tgz -C /data/server/
cd /data/server/harbor/# 加载镜像 harbor 到docker中
docker load < harbor.v2.5.0.tar.gz
docker images# 备份配置
cp harbor.yml.tmpl harbor.ymlvi harbor.yml

20250803203144

./prepare # 基于harbor.yml 生成 docker-compose.yml等配置文件，用于生成harbor容器./install.sh # zhuanb

卸载安装的docker 镜像、容器

# 卸载容器镜像
docker images | awk '{print $3}' | grep -v "IMAGE" | xargs  docker rmi
# 卸载compose 配置（用于拉起容器的）
docker compose down -v

安装成功如下：

20250803221414

harbor 定制服务

/etc/systemd/system/harbor.service

[Unit]
Description=Harbor
After=docker.service systemd-networkd.service systemd-resolved.service
Requires=docker.service
Documentation=http://github.com/vmware/harbor[Service]
Type=simple
Restart=on-failure
RestartSec=5
# 需要注意 harbor 的安装位置
ExecStart=/usr/bin/docker compose --file /data/server/harbor/docker-compose.yml up
ExecStop=/usr/bin/docker compose --file /data/server/harbor/docker-compose.yml down[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl start harbor
systemctl status harbor
systemctl enable harbor

20250803232352

配置用户名 deck1; 密码 a123678A

20250803232507

为harbor仓库提交镜像

  1. 镜像打标签
    • 必须携带harbor主机的地址
  2. 登录harbor
    docker login
  3. 提交镜像
    docker push
# 登录仓库
docker login kubernetes-register.sswang.com -u sswang#下载镜像
docker pull busyboxdocker tag busybox kubernetes-register.sswang.com/sswang/busybox:v0.1# 推送
docker push kubernetes-register.sswang.com/sswang/busybox:v0.1

测试过程遇到报错：

docker login kubernetes-register.sswang.com:80 -u sswang
Password:
Error response from daemon: Get "https://kubernetes-register.sswang.com:80/v2/": http: server gave HTTP response to HTTPS client

主要原因时，docker 默认强制访问镜像仓库都是使用https协议，同时上面harbor的https端口关闭，就需要docker强制harbor的访问允许http协议:

vi /etc/docker/daemon.json

{"insecure-registries": ["kubernetes-register.sswang.com:8080"]
}

对应每个节点都需要修改。
systemctl restart docker

for i in 15 16 17 20
doscp /etc/docker/daemon.json root@10.0.0.$i:/etc/docker/daemon.jsonssh root@10.0.0.$i "systemctl restart docker"
done
# 登录仓库
docker login kubernetes-register.sswang.com:80 -u sswang#下载镜像
docker pull busyboxdocker tag busybox kubernetes-register.sswang.com:80/sswang/busybox:v0.1# 推送
docker push kubernetes-register.sswang.com:80/sswang/busybox:v0.1
http://www.xdnf.cn/news/18224.html

相关文章：

  • 母猪姿态转换行为识别：计算机视觉与行为识别模型调优指南
  • ——分治——
  • 腾讯开源：视频生成框架Hunyuan-GameCraft
  • MySQL数据库初识
  • 聊聊Vuex vs Pinia
  • 【Python】Python 面向对象编程详解​
  • Golang database/sql 包深度解析（二）：连接池实现原理
  • 【前端面试题】前端面试知识点（第三十一题到第六十一题）
  • 《设计模式》抽象工厂模式
  • 24. 什么是不可变对象，好处是什么
  • 适用监测农作物长势和病虫害的高光谱/多光谱相机有哪些？
  • 【网络通信】TCP/IP 协议全方位解析​
  • 【LeetCode】12. 整数转罗马数字
  • STM32——软硬件I2C
  • 8月17日星期天今日早报简报微语报早读
  • 解锁Java开发神器：XXL-Job从入门到精通
  • java如何使用正则提取字符串中的内容
  • Go语言实战案例-使用ORM框架 GORM 入门
  • Centos 更新/修改宝塔版本
  • GaussDB 数据库架构师修炼(十三)安全管理(5)-全密态数据库
  • 【架构师从入门到进阶】第五章：DNSCDN网关优化思路——第十二节：网关安全-信息过滤
  • 哈希表与unorder_set,unorder_map的学习
  • 【Linux系列】常见查看服务器 IP 的方法
  • 深入了解 Filesystem Hierarchy Standard (FHS) 3.0 规范
  • 17.5 展示购物车缩略信息
  • 【Linux】文件基础IO
  • Google Earth Engine | （GEE）逐月下载的MODIS叶面积指数LAI
  • Rust 入门 生命周期(十八)
  • 【牛客刷题】字符串按索引二进制1个数奇偶性转换大小写
  • C#高级语法_委托