揭秘高效部署：用KubeKey輕松搭建K8s v1.29.3高可用集群
高可用 Kubernetes 集群能夠確保應用程序在運行時不會出現服務中斷，這也是生產的需求之一。為此，有很多方法可供選擇以實現高可用。本教程演示了如何配置 Keepalived 和 HAproxy 使負載均衡、實現高可用。步驟如下：
- 準備主機。
- 配置 Keepalived 和 HAproxy。
- 使用 KubeKey 創建 Kubernetes 集群。
集群架構
示例集群有三個主節點，三個工作節點，兩個用于負載均衡的節點，以及一個虛擬 IP 地址。本示例中的虛擬 IP 地址也可稱為“浮動 IP 地址”。這意味著在節點故障的情況下，該 IP 地址可在節點之間漂移，從而實現高可用。
集群架構
請注意，在本示例中，Keepalived 和 HAproxy 沒有安裝在任何主節點上。但您也可以這樣做，并同時實現高可用。然而，配置兩個用于負載均衡的特定節點（您可以按需增加更多此類節點）會更加安全。這兩個節點上只安裝 Keepalived 和 HAproxy，以避免與任何 Kubernetes 組件和服務的潛在沖突。
準備主機
IP 地址 | 主機名 | 角色 |
192.168.1.241 | lb1 | Keepalived & HAproxy |
192.168.1.242 | lb2 | Keepalived & HAproxy |
192.168.1.243 | master1 | master, etcd，worker |
192.168.1.244 | master2 | master, etcd，worker |
192.168.1.245 | master3 | master, etcd，worker |
192.168.250 | 虛擬 IP 地址 |
操作系統基礎配置
(1) 配置主機名：
hostnamectl hostname master1(2) 配置服務器時區
timedatectl set-timezone Asia/Shanghai(3) 配置時間同步
安裝 chrony 作為時間同步軟件：
apt install chrony -y編輯配置文件 /etc/chrony.conf，修改 ntp 服務器配置：
sed -i 's/pool.*/pool cn.pool.ntp.org iburst/g' /etc/chrony/chrony.conf重啟并設置 chrony 服務開機自啟動：
systemctl enable chronyd(4) 安裝系統依賴
apt install curl socat conntrack ebtables ipset ipvsadm -y配置負載均衡
Keepalived[1] 提供 VRRP 實現，并允許您配置 Linux 機器使負載均衡，預防單點故障。HAProxy[2] 提供可靠、高性能的負載均衡，能與 Keepalived 完美配合。由于 lb1 和 lb2 上安裝了 Keepalived 和 HAproxy，如果其中一個節點故障，虛擬 IP 地址（即浮動 IP 地址）將自動與另一個節點關聯，使集群仍然可以正常運行，從而實現高可用。若有需要，也可以此為目的，添加更多安裝 Keepalived 和 HAproxy 的節點。先運行以下命令安裝 Keepalived 和 HAproxy。
apt install keepalived haproxy psmisc -y1.HAproxy
(1) 在兩臺用于負載均衡的機器上運行以下命令以配置 Proxy（兩臺機器的 Proxy 配置相同）：
vi /etc/haproxy/haproxy.cfg(2) 以下是示例配置，供您參考：
global
log /dev/log local0 warning
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
stats socket /var/lib/haproxy/stats
defaults
log global
option httplog
option dontlognull
timeout connect 5000
timeout client 50000
timeout server 50000
frontend kube-apiserver
bind *:6443
mode tcp
option tcplog
default_backend kube-apiserver
backend kube-apiserver
mode tcp
option tcp-check
balance roundrobin
default-server inter 10s downinter 5s rise 2 fall 2 slowstart 60s maxconn 250 maxqueue 256 weight 100
server kube-apiserver-1 192.168.1.243:6443 check # Replace the IP address with your own.
server kube-apiserver-2 192.168.1.244:6443 check # Replace the IP address with your own.
server kube-apiserver-3 192.168.1.245:6443 check # Replace the IP address with your own.(3) 保存文件并運行以下命令以重啟 HAproxy。
systemctl restart haproxy(4) 使 HAproxy 在開機后自動運行
systemctl enable haproxy(5) 確保您在另一臺機器 (master2) 上也配置了 HAproxy。
2.Keepalived
兩臺機器上必須都安裝 Keepalived，但在配置上略有不同。
(1) 運行以下命令以配置 Keepalived
vi /etc/keepalived/keepalived.conf(2) 以下是示例配置，供您參考（請注意 server 字段。請記住 6443 是 apiserver 端口）：
global_defs{
notification_email{
}
script_userroot
enable_script_security
router_idLVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_garp_interval1
vrrp_gna_interval1
}
vrrp_scriptchk_haproxy{
script"/usr/bin/killall -0 haproxy"
weight-50
fall3
rise5
timeout2
}
vrrp_instancehaproxy-vip{
stateMASTER
priority100
interfaceeth0# Network card
virtual_router_id60
advert_int1
authentication{
auth_typePASS
auth_pass1111
}
unicast_src_ip192.168.1.243# The IP address of this machine
unicast_peer{
192.168.1.244# The IP address of peer machines
}
virtual_ipaddress{
192.168.1.210/24# The VIP address
}
track_script{
chk_haproxy# 這個對應上面的vrrp_script
}
}- 對于 interface 字段，您必須提供自己的網卡信息。您可以在機器上運行 ifconfig 以獲取該值。
- 為 unicast_src_ip 提供的 IP 地址是您當前機器的 IP 地址。對于也安裝了 HAproxy 和 Keepalived 進行負載均衡的其他機器，必須在字段 unicast_peer 中輸入其 IP 地址。
(3) 保存文件并運行以下命令以重啟 Keepalived。
systemctl restart keepalived(4) 使 Keepalived 在開機后自動運行：
systemctl enable keepalived確保您在另一臺機器 (lb2) 上也配置了 Keepalived。
驗證高可用
在開始創建 Kubernetes 集群之前，請確保已經測試了高可用。
(1) 在機器lb1上，運行以下命令：
(2) 如上圖所示，虛擬 IP 地址已經成功添加。模擬此節點上的故障：
systemctl stop haproxy(3) 再次檢查浮動 IP 地址，您可以看到該地址在lb1上消失了。
(4) 理論上講，若配置成功，該虛擬 IP 會漂移到另一臺機器K8s-master2上。在K8s-master2 上運行以下命令，這是預期的輸出：
(5) 如上所示，高可用已經配置成功。
使用 KubeKey 創建 Kubernetes 集群
KubeKey[3] 是一款用來創建 Kubernetes 集群的工具，高效而便捷。請按照以下步驟下載 KubeKey。
(1) 首先運行以下命令，以確保您從正確的區域下載 KubeKey。
export KKZONE=cn(2) 運行以下命令來下載 KubeKey：
curl -sfL https://get-kk.kubesphere.io | VERSION=v3.1.1 sh -下載 KubeKey 之后，如果您將其轉移到訪問 Googleapis 受限的新機器上，請務必再次運行 export KKZONE=cn，然后繼續執行以下步驟：
(1) 執行完上述命令后，輸出結果如下圖：
(2) 不清楚KK的具體用法可以使用幫助，執行如下命令查看幫助:
(3) 使用默認配置創建一個示例配置文件。此處以 Kubernetes v1.29.3 作為示例。
kk create config --with-kubernetes v1.29.3可以通過kk version --show-supported-k8s查看支持安裝那些k8s版本，案例中kk采用的是最新的版本。所以，可以安裝k8s最新的版本。
運行上述命令后，將在當前目錄創建配置文件config-sample.yaml。根據自己的實際情況修改機器信息、配置負載均衡器等。
apiVersion:kubekey.kubesphere.io/v1alpha2
kind:Cluster
metadata:
name:sample
spec:
hosts:
-{name:master1,address:192.168.1.103,internalAddress:192.168.1.103,user:root,password:"123456"}
-{name:master2,address:192.168.1.104,internalAddress:192.168.1.104,user:root,password:"123456"}
-{name:master3,address:192.168.1.106,internalAddress:192.168.1.106,user:root,password:"123456"}
roleGroups:
etcd:
-master1
-master2
-master3
control-plane:
-master1
-master2
-master3
worker:
-master1
-master2
-master3
controlPlaneEndpoint:
## Internal loadbalancer for apiservers
# internalLoadbalancer: haproxy
domain:lb.kubesphere.local
address:"192.168.1.210"
port:9443
kubernetes:
version:v1.29.3
clusterName:cluster.local
autoRenewCerts:true
containerManager:containerd
etcd:
type:kubekey
network:
plugin:calico
kubePodsCIDR:10.233.64.0/18
kubeServiceCIDR:10.233.0.0/18
## multus support. https://github.com/k8snetworkplumbingwg/multus-cni
multusCNI:
enabled:false
registry:
privateRegistry:""
namespaceOverride:""
registryMirrors:[]
insecureRegistries:[]
addons:[]- hosts：指定節點的 IP、ssh 用戶、ssh 密碼、ssh 端口
- roleGroups：指定 3 個 etcd、control-plane 節點，復用相同的機器作為 3 個 worker 節點
- internalLoadbalancer：啟用內置的 HAProxy 負載均衡器
- domain：自定義域名，沒特殊需求可使用默認值 lb.kubesphere.local
- clusterName：沒特殊需求可使用默認值 cluster.local
- autoRenewCerts：該參數可以實現證書到期自動續期，默認為 true
- containerManager：使用 containerd
(4) 完成配置之后，可以執行以下命令開始安裝：
kk create cluster -f config-sample.yaml上面的命令執行后，首先 KubeKey 會檢查部署 K8s 的依賴及其他詳細要求。通過檢查后，系統將提示您確認安裝。輸入 yes 并按 ENTER 繼續部署。
- nfs client、ceph client、glusterfs client 3 個與存儲有關的 client 顯示沒有安裝，這個我們后期會在對接存儲的實戰中單獨安裝。
- docker、containerd 會根據配置文件選擇的 containerManager 類型自動安裝。
部署完成需要大約 10-20 分鐘左右，具體看網速和機器配置，本次部署完成耗時 25 分鐘。部署完成后，您應該會在終端上看到類似于下面的輸出。
驗證K8S集群
1.查看集群節點信息
在 master-1 節點運行 kubectl 命令獲取 K8s 集群上的可用節點列表。
kubectl get nodes -o wide在輸出結果中可以看到，當前的 K8s 集群有三個可用節點、節點的內部 IP、節點角色、節點的 K8s 版本號、容器運行時及版本號、操作系統類型及內核版本等信息。
2.查看 Pod 列表
輸入以下命令獲取在 K8s 集群上運行的 Pod 列表。
kubectl get pods -o wide -A在輸出結果中可以看到， 所有 pod 都在運行。
部署測試資源
本示例使用命令行工具在 K8s 集群上部署一個 Nginx Web 服務器。
1.創建 Nginx Deployment
運行以下命令創建一個部署 Nginx Web 服務器的 Deployment。此示例中，我們將創建具有兩個副本基于 nginx:alpine 鏡像的 Pod。
root@master1:~# kubectl create deployment nginx --image nginx:alpine --replicas=2
deployment.apps/nginx created2.創建 Nginx Service
創建一個新的 K8s 服務，服務名稱 nginx，服務類型 Nodeport，對外的服務端口 80。
kubectl create service nodeport nginx --tcp=80:803.驗證 Nginx Deployment 和 Pod
運行以下命令查看創建的 Deployment 和 Pod 資源。
kubectl get deployment -o wide
kubectl get pods -o wide查看結果如下：
4.驗證 Nginx Service
運行以下命令查看可用的服務列表，在列表中我們可以看到 nginx 服務類型 為 Nodeport，并在 Kubernetes 主機上開放了 32373 端口。
kubectl get svc -o wide查看結果如下：
5.驗證服務
運行以下命令訪問部署的 Nginx 服務，驗證服務是否成功部署。
驗證直接訪問 Pod：
問題與解決方案
查看三個節點分別出現如下報錯信息：
通過執行如下名，加載下面兩個模塊
modprobe ip_vs
modprobe ip_vs_wrrReference：
- [1]Keepalived:https://www.keepalived.org/
- [2]HAProxy:http://www.haproxy.org/
- [3]KubeKey:https://github.com/kubesphere/kubekey
