Kubernetes開源LoadBalancer—Metallb(BGP)

作者：劉大仙 2022-05-25 08:04:12

在尋找資料的時候我們找到了兩種解決方案，一種是Kubesphere的OpenELB，一種是MetalLB。但是OpenELB的文檔實在是太少了，而且還是很久之前的文檔，所以我們選擇了MetalLB。

Kubernetes開源LoadBalancer—MetalLB(BGP)

1、背景

最近一年為了迎接亞運會，單位開發(fā)了很多大屏展示界面，這些大屏展示頁面需要提供給外部門訪問，起初使用Ingress方式，但是需要外部門配置DNS，所以我們準備使用NodePort，但是領導想用LoadBalancer，眾所周知，LoadBalancer大部分情況下只能在提供了外部負載均衡器的云提供商上使用，而我們是裸機集群，沒辦法，我們只能找開源的LoadBalancer解決方案。

2、Metallb介紹

貼一段官方的介紹

Kubernetes沒有為裸金屬集群提供網絡負載均衡器(LoadBalancer)。Kubernetes發(fā)布的網絡負載均衡器的實現(xiàn)都是調用各種IaaS平臺的外部負載均衡器。如果你不是運行在一個受支持的IaaS平臺上，那么loadbalancer在創(chuàng)建時就會無限期地保持“Pending”狀態(tài)。
裸金屬集群運營商只剩下兩個方式來將用戶流量引入集群，即“NodePort”和“externalIPs”服務。這兩種選擇對生產用途都有顯著的不利影響，這使得裸金屬集群在Kubernetes生態(tài)系統(tǒng)中成為二等公民。
MetalLB的目標是通過提供一個與標準網絡設備集成的網絡負載均衡器實現(xiàn)來糾正這種不平衡，這樣裸金屬集群上的外部服務也可以盡可能地“正常工作”。
MetalLB有兩個共同提供此服務的特性:地址分配和外部通知。

3、部署MetalLB(BGP)

（1）部署環(huán)境

這是我們內部集群拓撲的一個簡化圖：

注意：如果集群的CNI使用的是calico,你需要禁用calico的BGP模式，否則會影響MetalLB的正常工作。

（2）部署

# 安裝前準備
# 如果kube-proxy使用的是IPVS模式，你需要啟用staticARP
kubectl edit configmap -n kube-system kube-proxy
# 設置staticARP為true
mode: "ipvs"
ipvs:
  strictARP: true
# 部署metalLB
kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.12.1/manifests/namespace.yaml
kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.12.1/manifests/metallb.yaml
# 檢查pod運行狀態(tài)
[root@node1 ~]# kubectl get pods -n metallb-system 
NAME                          READY   STATUS    RESTARTS   AGE
controller-6554b76d68-gxwml   1/1     Running   0          35d
speaker-p9x5v                 1/1     Running   0          35d
speaker-pgxkw                 1/1     Running   0          35d
# 配置metalLB
cat > metallb-eip.yaml <<EOF
apiVersion: v1
kind: ConfigMap
metadata:
  namespace: metallb-system
  name: config
data:
  config: |
    peers:
    - peer-address: 192.168.0.254 # BGP鄰居IP（Core Switch的IP）
      peer-asn: 50000 # 對端AS號
      my-asn: 50001 # 本地AS號
    address-pools:
    - name: default
      protocol: bgp # 協(xié)議使用BGP
      addresses: # 地址池
      - 10.11.11.1-10.11.11.254
EOF
# 之前我地址池配置成10.11.11.0/24，Metallb分配地址時會把10.11.11.0也分配出去。
# 配置核心交換機
[Core-Switch]bgp 50000
[Core-Switch-bgp]peer 192.168.0.1 as-num 50001
[Core-Switch-bgp]peer 192.168.0.2 as-num 50001
[Core-Switch-bgp]peer 192.168.0.3 as-num 50001

查看BGP鄰居建立情況 [Core-Switch]dis bgp peer。

# 現(xiàn)在使用K8S dashboard做個實驗
kubectl get svc -n kubernetes-dashboard
NAME                        TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)         AGE
dashboard-metrics-scraper   ClusterIP   10.1.189.92   <none>        8000/TCP        35d
kubernetes-dashboard        NodePort    10.1.88.59    <none>        443:31956/TCP   35d
# 現(xiàn)在使用的是NodePort，把他修改成LoadBalancer
kubectl edit svc -n kubernetes-dashboard kubernetes-dashboard
type: LoadBalancer
# 保存退出, 再次查看svc
kubectl get svc -n kubernetes-dashboard
NAME                        TYPE           CLUSTER-IP    EXTERNAL-IP   PORT(S)         AGE
dashboard-metrics-scraper   ClusterIP      10.1.189.92   <none>        8000/TCP        35d
kubernetes-dashboard        LoadBalancer   10.1.88.59    10.11.11.1    443:31956/TCP   35d
# 可以看到kubernetes-dashboard的EXTERNAL-IP已經被分配了一個地址