【信创-k8s】重磅-鲲鹏arm+麒麟V10离线部署k8s1.30+kubesphere4.1.3
随着信创产业的推进,鲲鹏arm64架构得以快速发展。而由于信创领域的主要客户通常部署在内网环境中,这使得离线部署成为该架构方案实施过程中不可或缺的关键环节。
环境涉及软件版本信息
- 服务器芯片: 鲲鹏920/飞腾2000(arm64)
- 操作系统:银河麒麟V10
- Containerd: 1.7.13
- Kubernetes:v1.30.12
- KubeSphere:v4.1.3
- KubeKey: v3.1.9(二开版)
- Docker: 24.0.9
- DockerCompose: v2.26.1
- Harbor: v2.7.1
- Prometheus: v2.51.2
服务器基本信息
[root@node1 ~]# uname -a
Linux node1 4.19.90-17.5.ky10.aarch64 #1 SMP Fri Aug 7 13:35:33 CST 2020 aarch64 aarch64 aarch64 GNU/Linux
[root@node1 ~]#
[root@node1 ~]# cat /etc/os-release
NAME="Kylin Linux Advanced Server"
VERSION="V10 (Tercel)"
ID="kylin"
VERSION_ID="V10"
PRETTY_NAME="Kylin Linux Advanced Server V10 (Tercel)"
ANSI_COLOR="0;31"[root@node1 ~]#
1.说明
作者使用k8s
和kubesphere
过程中已适配芯片和操作系统如下:
- CPU芯片:
- 鲲鹏
- 飞腾
- 海光
- 兆芯
- 国际芯片:interl、amd等 - 操作系统
- 银河麒麟V10
- 麒麟国防版
- 麒麟信安
- 中标麒麟V7
- 统信 UOS
- 华为欧拉 openEuler、移动大云
- 阿里龙蜥 Anolis OS
- 腾讯 TencentOS
- 国际操作系统:centos、ubuntu、debian等
本文由 [编码如写诗-天行1st] 原创编写,有任何问题可添加作者微信 [sd_zdhr] 获取帮助。
关于我:
- 主要从事后端开发,兼具前端、运维及全栈工程师,热爱
Golang
、Docker
、kubernetes
、KubeSphere
。 - 信创服务器
k8s
&KubeSphere
布道者、KubeSphere
离线部署布道者
关于kt
kt
是基于kk
二次开发产物,主要为适配信创国产化环境和简化arm
部署过程。
支持arm64
和amd64
架构国产操作系统,已适配芯片+操作系统如上。
2.前提条件
参考如下示例准备至少三台主机,其中node1可省略,让master节点即是主节点也是工作节点
主机名 | IP | 架构 | OS | 用途 |
---|---|---|---|---|
node | 192.168.3.249 | X86_64 | Ubuntu24.04 | 联网主机,用于制作离线包 |
node1 | 192.168.0.80 | arm64 | 麒麟V10 | 离线环境主节点,镜像仓库节点 |
3.构建离线包
在node可联网节点上操作
3.1 上传kt
将[kt_x86.tar.gz](https://pan.xunlei.com/s/VOSc93lCJRKUTy_L9U5DHzDhA1?pwd=3r38#。 "kt_x86版本")
上传至可联网节点解压后操作,即日起至2025-07-09
免费使用。
3.2 创建 manifest 文件
export KKZONE=cn
./kt create manifest --with-kubernetes v1.30.12 --with-registry
3.3 编辑 manifest 文件
vi manifest-sample.yaml
apiVersion: kubekey.kubesphere.io/v1alpha2
kind: Manifest
metadata:name: sample
spec:arches:- arm64operatingSystems: []kubernetesDistributions:- type: kubernetesversion: v1.30.12components:helm: version: v3.14.3cni: version: v1.2.0etcd: version: v3.5.13containerRuntimes:- type: dockerversion: 24.0.9- type: containerdversion: 1.7.13calicoctl:version: v3.27.4crictl: version: v1.29.0docker-registry:version: "2"harbor:version: v2.7.1docker-compose:version: v2.26.1images:- registry.cn-beijing.aliyuncs.com/kubesphereio/pause:3.9- registry.cn-beijing.aliyuncs.com/kubesphereio/kube-apiserver:v1.30.12- registry.cn-beijing.aliyuncs.com/kubesphereio/kube-controller-manager:v1.30.12- registry.cn-beijing.aliyuncs.com/kubesphereio/kube-scheduler:v1.30.12- registry.cn-beijing.aliyuncs.com/kubesphereio/kube-proxy:v1.30.12- registry.cn-beijing.aliyuncs.com/kubesphereio/coredns:1.9.3- registry.cn-beijing.aliyuncs.com/kubesphereio/k8s-dns-node-cache:1.22.20- registry.cn-beijing.aliyuncs.com/kubesphereio/kube-controllers:v3.27.4- registry.cn-beijing.aliyuncs.com/kubesphereio/cni:v3.27.4- registry.cn-beijing.aliyuncs.com/kubesphereio/node:v3.27.4- registry.cn-beijing.aliyuncs.com/kubesphereio/pod2daemon-flexvol:v3.27.4# ks- dockerhub.kubekey.local/gjing1st/kubesphere/ks-extensions-museum:v1.1.6- dockerhub.kubekey.local/gjing1st/kubesphere/ks-controller-manager:v4.1.3- dockerhub.kubekey.local/gjing1st/kubesphere/ks-apiserver:v4.1.3- dockerhub.kubekey.local/gjing1st/kubesphere/ks-console:v4.1.3- dockerhub.kubekey.local/gjing1st/kubesphere/kubectl:v1.27.16registry:auths: {}
3.4 导出离线制品
export KKZONE=cn
./kt artifact export -m manifest-sample.yaml -o artifact-arm-k8s13012-ks413.tar.gz
可以看到下载了arm64
版本的harbor
,由于harbor
官方不支持arm版本,因此kk
也不支持arm
版本harbor
。此版本harbor
和kk
为自己制作,由于harbor:v2.8.0
版本之后不支持扩展helm
功能,我司需要用其helm
管理应用,所以这里使用v2.7.1
版本。
3.5 下载 KubeSphere Core Helm Chart
安装helm
curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
下载 KubeSphere Core Helm Chart
VERSION=1.1.3 # Chart 版本
helm fetch https://charts.kubesphere.io/main/ks-core-${VERSION}.tgz
4 离线部署准备
4.1 将安装包拷贝至离线环境
将 kt、制品 artifact 、Helm文件等通过介质拷贝至node1节点。
4.2 初始化操作系统
所有节点,上传[kt_arm.tar.gz](https://pan.xunlei.com/s/VOSc8AKcsUM5K5Lxma9KBW2sA1?pwd=85gd#。 "kt_arm版本")
解压后执行./kt init-os
,已适配操作系统和架构见1.说明
4.3 修改配置文件
主要修改相关节点和harbor信息
vi config-sample.yaml
kind: Cluster
metadata:name: sample
spec:hosts:- {name: node1, address: 192.168.0.80, internalAddress: 192.168.0.80, user: root, password: "123456"}roleGroups:etcd:- node1control-plane:- node1worker:- node1registry:- node1controlPlaneEndpoint:## Internal loadbalancer for apiservers # internalLoadbalancer: haproxydomain: lb.kubesphere.localaddress: ""port: 6443kubernetes:version: v1.30.12clusterName: cluster.localautoRenewCerts: truecontainerManager: dockeretcd:type: kubekeynetwork:plugin: calicokubePodsCIDR: 10.233.64.0/18kubeServiceCIDR: 10.233.0.0/18## multus support. https://github.com/k8snetworkplumbingwg/multus-cnimultusCNI:enabled: falseregistry:type: harborregistryMirrors: []insecureRegistries: []privateRegistry: "dockerhub.kubekey.local"namespaceOverride: "kubesphereio"auths: # if docker add by `docker login`, if containerd append to `/etc/containerd/config.toml`"dockerhub.kubekey.local":username: "admin"password: Harbor@123 # 此处可自定义,kk3.1.8新特性skipTLSVerify: true # Allow contacting registries over HTTPS with failed TLS verification.plainHTTP: false # Allow contacting registries over HTTP.certsPath: "/etc/docker/certs.d/dockerhub.kubekey.local"addons: []
4.4 创建镜像仓库
./kt init registry -f config-sample.yaml -a artifact-arm-k8s13012-ks413.tar.gz
可以看到使用了arm64
版本的harbor
4.5 创建harbor项目
说明:
Harbor 管理员账号:admin,密码:Harbor@123。密码同步使用配置文件中的对应password
harbor 安装文件在 <font style="background-color:rgb(255,245,235);">/opt/harbor</font>
目录下,可在该目录下对 harbor 进行运维。
vi create_project_harbor.sh
#!/usr/bin/env bashurl="https://dockerhub.kubekey.local" # 或修改为实际镜像仓库地址
user="admin"
passwd="Harbor@123"harbor_projects=(gjing1stkubespherekubesphereio
)for project in "${harbor_projects[@]}"; doecho "creating $project"curl -u "${user}:${passwd}" -X POST -H "Content-Type: application/json" "${url}/api/v2.0/projects" -d "{ \"project_name\": \"${project}\", \"public\": true}" -k # 注意在 curl 命令末尾加上 -k
done
创建 Harbor 项目
chmod +x create_project_harbor.sh./create_project_harbor.sh
验证
5 安装Kubernetes
执行以下命令创建 Kubernetes 集群:
./kt create cluster -f config-sample.yaml -a artifact-arm-k8s13012-ks413.tar.gz --with-local-storage
等待大概两分钟左右看到成功消息
6 安装 KubeSphere
helm upgrade --install -n kubesphere-system --create-namespace ks-core ks-core-1.1.5.tgz \--set global.imageRegistry=dockerhub.kubekey.local/ks \--set extension.imageRegistry=dockerhub.kubekey.local/ks \--set ksExtensionRepository.image.tag=v1.1.5 \--debug \--wait
等待大概30秒左右看到成功消息
7 验证
登录页面
初次登录需要换密码,如果不想换也可以继续填写P@88w0rd
,不过建议更换
首页
集群节点版本信息
概览