引言

面試的時候問到了很多次，但是回答的不是很全面，盡管有時候面試官聽著還可以，但是自己知道回答還不夠全面，所以我們就深入了解下。

如果文章哪里有問題，還望指出。

最后有相關的學習群，有興趣可以加入。

開始

引言：容器網絡的挑戰與演進

在 Kubernetes 集群中，容器網絡是支撐微服務通信的基石。隨著云原生技術的普及，網絡性能、安全性和可擴展性成為架構師的核心考量。本文將深入探討兩大主流 CNI 插件——Flannel 與 Calico 的設計原理、工作模式對比及生產環境選型策略，通過原理剖析、性能測試和真實案例，助您構建最佳容器網絡方案。

第一章：Flannel 設計解析與實現細節

1.1 Flannel 架構全景

Flannel 是 Kubernetes 最輕量的 Overlay 網絡方案，其核心架構包含三部分：

圖片

核心組件職責：

• ? Flanneld：守護進程，負責節點子網管理、路由表更新和隧道維護。
• ? Backend：數據平面實現（VXLAN/host-gw/UDP），決定流量轉發邏輯。
• ? CNI 插件：配置 Pod 網絡命名空間（veth pair + IPAM）。

1.2 Flannel 工作模式深度剖析

模式 1：VXLAN（Virtual Extensible LAN）

實現原理：

• ? 虛擬隧道端點（VTEP）：每個節點創建 vxlan0 設備，通過 UDP 4789 端口封裝 L2 幀。
• ? MAC 地址學習：利用 FDB（Forwarding Database）記錄目標 Pod MAC 與節點 IP 的映射。
• ? 多播組管理：初始階段通過多播發現鄰居節點（生產環境建議靜態配置）。

數據包生命周期：

圖片

性能優化技巧：

# 調整 VXLAN MTU 避免分片（通常設為物理 MTU - 50）
ifconfig vxlan0 mtu 1450

# 啟用 UDP 校驗和卸載（需網卡支持）
ethtool -K eth0 tx-udp_tnl-csum-segmentation on

模式 2：host-gw（Host Gateway）

實現原理：

? 直接路由：節點充當網關，通過靜態路由將目標 Pod 子網指向對應節點物理 IP。

? 無隧道開銷：要求節點間 L2 互通（同一子網），否則路由不可達。

路由表示例：

# Node1 路由表
10.244.1.0/24 via 192.168.0.2 dev eth0  # Pod 子網 -> Node2
10.244.2.0/24 via 192.168.0.3 dev eth0  # Pod 子網 -> Node3

適用場景與限制：

? 優勢：吞吐量接近物理網絡（無封裝開銷），延遲降低 40%+。

? 限制：節點必須位于同一 L2 網絡，跨子網需 BGP 或手動配置路由。

1.3 Flannel 高級特性與局限

多后端支持：

? UDP 模式（已棄用）：用戶態封裝，性能差，僅用于舊內核兼容。

? AWS VPC 后端：直接使用 AWS 路由表，需配合 aws-vpc-cni。

局限分析：

? 網絡策略缺失：依賴 Kubernetes 原生 NetworkPolicy，功能有限。

? 擴展性瓶頸：大規模集群（>1000 節點）路由表膨脹問題。

第二章：Calico 架構設計與高級功能

2.1 Calico 組件協作模型

Calico 采用分布式架構，控制平面與數據平面解耦：

圖片

核心組件職責：

? Felix：配置本地路由、ACL 和端點狀態。

? BIRD：BGP 客戶端，廣播路由到物理網絡。

? Typha：大規模集群中降低 API Server 負載。

2.2 Calico 工作模式詳解

模式 1：BGP（Border Gateway Protocol）

實現原理：

? 對等體發現：節點與物理路由器（ToR）建立 BGP 會話，交換路由信息。

? 路由傳播：每個節點宣告自身 Pod CIDR（如 10.244.1.0/24）。

? ECMP 支持：通過 BGP 多路徑實現負載均衡。

配置示例（Calico BGP）：

apiVersion: projectcalico.org/v3
kind: BGPPeer
metadata:
  name: peer-tor
spec:
  peerIP: 192.168.0.254
  asNumber: 64512
  nodeSelector: all()

模式 2：IP-in-IP 隧道

實現原理：

? 隧道封裝：跨子網通信時，將原始 IP 包封裝在另一個 IP 包中（協議號 4）。

? 動態封裝策略：通過 ipipMode 控制：

Always：所有流量封裝。

CrossSubnet：僅跨子網流量封裝。

性能影響：

2.3 Calico 網絡策略實戰

L4 策略示例：

apiVersion: projectcalico.org/v3
kind: NetworkPolicy
metadata:
  name: deny-db-external
spec:
  selector: role == 'database'
  ingress:
    - action: Allow
      protocol: TCP
      source:
        namespaceSelector: project == 'prod'
      destination:
        ports: [5432]
  egress:
    - action: Deny
      destination:
        nets: [0.0.0.0/0]

L7 策略示例（需 Cilium 集成）：

apiVersion: projectcalico.org/v3
kind: NetworkPolicy
metadata:
  name: http-methods
spec:
  selector: app == 'api'
  ingress:
    - action: Allow
      http:
        methods: ['GET', 'POST']
      source:
        serviceAccounts:
          names: ['frontend-sa']

第三章：Flannel vs Calico 全方位對比

3.1 核心能力矩陣

3.2 性能基準測試

測試環境：

? 節點規格：AWS m5.xlarge (4 vCPU, 16GB RAM)

? 集群規模：10 節點，100 Pod/節點

? 工具：iperf3 和 kubectl benchmark

結果對比：

3.3 生產環境選型決策樹

圖片

第四章：真實案例與故障復盤

4.1 案例 1：電商大促 Flannel VXLAN 性能瓶頸

現象：

? 促銷期間 API 網關延遲從 50ms 飆升至 800ms。

? 節點 CPU 使用率高達 90%，vxlan0 接口出現丟包。

根因分析：

? VXLAN 封裝導致單核處理瓶頸（Linux 內核協議棧限制）。

? MTU 不匹配引發大量分片，加劇 CPU 負擔。

解決方案：

1. 切換到 host-gw 模式（節點間 L2 互通）。

2. 優化內核參數：

sysctl -w net.core.rmem_max=16777216
sysctl -w net.core.wmem_max=16777216

3. 升級為 Calico BGP 模式長期規劃。

4.2 案例 2：Calico BGP 路由震蕩導致服務中斷

現象：

? 每 5 分鐘出現 30 秒服務不可用。

? BIRD 日志顯示路由持續撤回/更新。

根因分析：

? 節點與 ToR 交換機 BGP 會話超時時間不匹配。

? 交換機配置 hold-time=90s，節點默認 hold-time=180s。

解決方案：

apiVersion: projectcalico.org/v3
kind: BGPConfiguration
metadata:
  name: bgp-settings
spec:
  logSeverityScreen: Info
  nodeToNodeMeshEnabled: false
  asNumber: 64512
  listenPort: 179
  prefixes:
    - cidr: 10.244.0.0/16
  bgpPeers:
    - peerIP: 192.168.0.254
      asNumber: 64513
      holdTime: 90s  # 與交換機對齊

第五章：未來趨勢與演進方向

5.1 eBPF 對容器網絡的影響

? Cilium 的崛起：替代 iptables 實現高性能策略實施。

? XDP 加速：在網卡驅動層處理流量，降低延遲。

? 服務網格融合：Sidecar 模式向 CNI 層轉移。

5.2 多云網絡架構

? Submariner：跨集群 L3 連通 + 服務發現。

? Network Policy Federation：統一管理多集群策略。

? 零信任安全：基于 SPIFFE 的身份感知網絡。

結語：構建面向未來的容器網絡

選擇 Flannel 還是 Calico，本質是在簡單性與能力豐富性之間權衡。對于初創公司或中小集群，Flannel 的極簡設計能快速上線；而中大型企業需要 Calico 的策略引擎和精細控制。隨著 eBPF 和硬件卸載技術的成熟，未來的容器網絡將向著更高性能、更智能化的方向持續演進。

行動指南：

1. 在開發環境使用 Flannel 快速驗證業務。

2. 生產環境優先 Calico，預留策略擴展能力。

3. 定期評估網絡架構，跟隨社區演進。