2018年黑客入侵了特斯拉在亞馬遜上的Kubernetes容器集群。由于該集群控制臺未設置密碼保護，黑客便得以在一個Kubernetes pod中獲取到訪問憑證，然后據此訪問其網絡存儲桶S3，通過S3獲取到了一些敏感數據，比如遙測技術，并且還在特斯拉的Kubernetes pod中進行挖礦。

黑客們潛入到了沒有密碼保護的Kubernetes管控臺。在一個Kubernetes pod里面，盜取了Tesla的公有云環境的訪問權限，而對應公有云環境中則存放著如telemetry的敏感數據。

除了裸露的數據之外，RedLock還注意到此次攻擊中一些更為復雜的檢測躲避手段。

首先，沒有使用知名的公共“礦池”。他們安裝挖礦軟件，并通過惡意腳本鏈接上未列出/半公共端點。其次，黑客通過CloudFlare隱藏了礦池服務器的真實IP地址，CloudFalre是一個免費的CDN服務。通過該服務獲得新的IP地址。因此常見標準的基于IP或域的探測很難檢測到此類惡意行為。

挖礦軟件監聽的是非標準端口，基于端口的惡意檢測也變得很困難。黑客們的挖礦軟件保持“低調”，沒有造成CPU使用過高，資源的占用不易被發現。

該事件只是Kubernetes漏洞利用的一個典型案例。

近年來，以Kubernetes為代表的安全編排工具讓企業實現了應用的自動化部署，給企業帶來了巨大的業務收益。但是，和傳統環境下一樣，這些部署也很容易受到黑客和內鬼的攻擊和利用，Kubernetes的安全也因此成為容器使用中重點保護對象。

一、Kubernetes

1.什么是 Kubernetes

Kubernetes 是一個開源的容器編排平臺，最初由 Google 設計并捐贈給 Cloud Native Computing Foundation (CNCF) 孵化。Kubernetes 可以自動化地部署、擴展和管理容器化應用程序，并提供了許多便捷的特性，如服務發現、負載均衡、自我修復等。Kubernetes 的核心理念是將應用程序和基礎設施分離，以便更快、更安全、更靈活地開發和部署云原生應用程序。

Kubernetes 的組件可以分為兩大類：控制平面和數據平面?？刂破矫姘?Kubernetes API Server、etcd 存儲、控制器管理器、調度器等，負責管理存儲在 etcd 中的集群狀態、決策運行環境中的容器位置、標記、限制等。數據平面包括各種節點，包括容器運行時、kubelet 守護進程、kube-proxy 代理服務器，負責維護容器的生命周期、數據流量、負載均衡等。

Kubernetes 提供了一種能夠輕松創建和部署容器的方式，其靈活性和可擴展性使其成為一種非常流行的應用程序部署和管理平臺。

2.Kubernetes 為什么需要安全

雖然 Kubernetes 具有許多優點，但也有許多安全考慮因素必須被認真考慮。以下是 Kubernetes 安全威脅的一些例子：

（1）權限問題

一個被破壞的容器可以在多個 Pod 之間傳播，導致 Kubernetes 集群的整體安全受到威脅。除非良好配置 Kubernetes 中的用戶和角色，否則攻擊者可能具有比他們應有的更多的權限。

（2）網絡問題

由于 Kubernetes 的高度自動化性質，容易使權限分配分散并產生混亂。這種情況下，攻擊者可以利用 Kubernetes 上的漏洞橫向移動和擴展他們在集群中的訪問級別。另外，安全的網絡策略和在應用程序層面進行保護，包括服務發現和容器網絡配置，保證應用程序和數據不被更容易受到攻擊，也可能受到損害。

（3） 控制面

如果 Kubernetes API Server 面臨攻擊活動，則可以修改，添加或刪除集群狀態，從而危及整個集群的安全性。此外，一個被攻擊的 Pod 可以進行許多可能對其他 Pod 或主機產生災難性后果的活動，例如嗅探流量并嘗試修改 Pod 以增加攻擊面。

（4） 鏡像安全問題

容器的鏡像可以隨時被替換，而沒有辦法驗證該鏡像的內容和完整性。因此，出現一個惡意鏡像的情況下，整個特定容器中的數據和應用程序可以遭受嚴重威脅。

3.Kubernetes 安全秘籍簡介

為了最大化您的 Kubernetes 集群的安全性，必須了解安全性相關的最佳做法和原則。以下是幾個基本的 Kubernetes 安全秘籍：

（1）配置 Kubernetes 對象的 RBAC

為保護 Kubernetes 集群，必須對在 Kubernetes 中運行的對象、Pod 和狀態對象進行身份驗證和授權。Kubernetes Role-Based Access Control（RBAC）為應用于 Kubernetes API 對象的最佳做法之一，以管理訪問 Kubernetes API 對象的授權和權限。

（2）使用安全的容器基礎映像

可以通過使用最佳安全實踐來加強容器的安全性。而選擇合適的基礎鏡像是實現此目標的重要部分，例如，只使用來自可信源的映像，盡可能減少容器中的客戶端庫數量。

（3）配置 Kubernetes 的網絡和策略

安全的網絡和防護策略可以保護 Kubernetes 集群免受威脅。通過配置網絡插件實現網絡隔離，并設置 Pod 和服務之間的網絡策略以提高安全性。

（4）使用 Kubernetes 安全掃描器進行安全審計

使用 Kubernetes 安全掃描器可以查找到容器映像中的潛在漏洞，確保每個大容器鏡像都沒有安全漏洞，需要及時修復。

二、配置 Kubernetes 集群

1.Minikube 安裝

Minikube 是 Kubernetes 的一種輕量級實現，它可以在局域網內快速搭建一個 Kubernetes 集群用于測試、開發和學習。

（1）Minikube 的安裝步驟：

安裝虛擬機軟件：Minikube 需要在虛擬機中運行，建議使用 VirtualBox 或者 HyperKit。VirtualBox 是跨平臺的免費軟件，而 HyperKit 是 macOS 中提供的輕量級虛擬化解決方案。

安裝 kubectl：kubectl 是 Kubernetes 的命令行工具，用于管理 Kubernetes 集群?？梢酝ㄟ^以下命令安裝：

curl -LO https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl
chmod +x ./kubectl
sudo mv ./kubectl /usr/local/bin/kubectl

在 macOS 上安裝 kubectl 的命令如下：

brew install kubectl

安裝 Minikube：可以通過以下命令安裝 Minikube：

curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64
sudo install minikube-linux-amd64 /usr/local/bin/minikube

在 macOS 上安裝 Minikube 的命令如下：

brew install minikube

啟動 Minikube 集群：

minikube start

運行示例應用：

kubectl run hello-minikube --image=k8s.gcr.io/echoserver:1.4 --port=8080
kubectl expose deployment hello-minikube --type=NodePort
minikube service hello-minikube

以上就是安裝和使用 Minikube 的詳細步驟了。

2.配置 Kubernetes RBAC

Kubernetes RBAC（Role-Based Access Control）是基于角色的訪問控制，它定義了一組角色、角色綁定和集群角色綁定，用于限制 Kubernetes 集群中用戶、服務賬號的權限范圍。

（1）Kubernetes RBAC 的配置步驟：

創建角色：

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: test-role
rules:
- apiGroups: [""] # "" 代表 core API 組
  resources: ["pods", "pods/log", "services"]
  verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]

這里創建了一個名為 test-role 的角色，它擁有對 Kubernetes 集群中的 pods、services 資源的訪問權限。

創建服務賬號：

apiVersion: v1
kind: ServiceAccount
metadata:
  name: test-account
  namespace: test-namespace

這里創建了一個名為 test-account 的服務賬號，它將被綁定在后面創建的角色上。

創建角色綁定：

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: test-role-binding
  namespace: test-namespace
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: test-role
subjects:
- kind: ServiceAccount
  name: test-account
  namespace: test-namespace

這里創建了一個名為 test-role-binding 的角色綁定，它將 test-role 與 test-account 綁定在一起，以授予 test-account 對 pods、services 資源的訪問權限。

創建命名空間：

apiVersion: v1
kind: Namespace
metadata:
  name: test-namespace

這里創建了一個名為 test-namespace 的命名空間，用于隔離上述角色和服務賬號的作用范圍。

以上就是 Kubernetes RBAC 的配置步驟，通過創建角色、服務賬號、角色綁定和命名空間來定義用戶、服務賬號的權限作用范圍。

3.配置網絡策略

網絡策略是 Kubernetes 中用于定義網絡訪問控制策略的一種機制，它可以限制來自特定 IP 或標簽的流量訪問 Kubernetes 中的 Pod。

（1）網絡策略的配置步驟：

在 Kubernetes 運行網絡插件，如 Calico 或者 Cilium，使得網絡策略功能可以正常使用。

創建網絡策略：

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: test-network-policy
  namespace: test-namespace
spec:
  podSelector:
    matchLabels:
      app: test-app
  policyTypes:
  - Ingress
  ingress:
  - from:
    - ipBlock:
        cidr: 10.0.0.0/24
    - namespaceSelector:
        matchLabels:
          name: test-namespace
    ports:
    - protocol: TCP
      port: 8080

這里創建了一個名為 test-network-policy 的網絡策略，它定義了當訪問屬于 test-namespace 命名空間且包含 app=test-app 標簽的 Pod 時，只允許來自 10.0.0.0/24 網段 IP 或 test-namespace 命名空間的 Pod 訪問 Pod 的 TCP 8080 端口。

以上就是網絡策略的配置步驟了，通過配置網絡策略可以控制 Pod 之間的網絡通信。

4.限制 Kubernetes API 訪問

在 Kubernetes 中，可以使用網絡策略來控制 Pod 之間和 Pod 與集群中其他資源之間的網絡流量。本文介紹如何配置網絡策略，以限制 Kubernetes API 的訪問流量。

創建一個命名空間：

kubectl create namespace example

創建一個 Label，該 Label 將用于標記要受網絡策略保護的 Pod：

kubectl label namespace example name=example

創建 Pod：

apiVersion: v1
kind: Pod
metadata:
  name: example-pod
  namespace: example
  labels:
    app: example
spec:
  containers:
    - name: example-container
      image: nginx

創建一個網絡策略：

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: api-policy
  namespace: example
spec:
  podSelector:
    matchLabels:
      app: example
  policyTypes:
  - Ingress
  ingress:
  - from:
    - podSelector:
        matchLabels:
          app: kubernetes

上述策略將禁止任何與帶有 label app=example 的 Pod 的入站流量，除非該流量始于帶有 label app=kubernetes 的 Pod。請注意，該規則僅限制流量，因此不影響容器的運行狀態。

驗證策略是否生效：

kubectl run busybox --image=busybox -n example -- sleep 3600
kubectl exec -it busybox -n example -- wget -q -O - http://example-pod
kubectl exec -it busybox -n example -- wget -q -O - kubernetes.default.svc.cluster.local

第一行使用 busybox 鏡像創建一個名為 busybox 的 Pod，并執行一個長時間休眠的命令。第二行調用 wget 命令將通過 Pod example-pod 執行 HTTP GET 請求。由于我們已經創建了一個網絡策略，該請求將被阻止。第三行調用 wget 命令將訪問 kubernetes.default.svc.cluster.local，這是 Kubernetes API 的 DNS 名稱。由于我們已經在策略中選擇了從 Kubernetes 組件 Pod 的流量，該請求將顯示預期的結果。

三、保護 Kubernetes 網絡

1.配置 Kubernetes 網絡插件

Kubernetes 網絡插件是一個 K8s 集群中的必要組件之一，它的主要目的是負責實現容器的網絡功能，例如為容器分配 IP、實現容器間通信、提供網絡隔離等。不同的網絡插件有不同的實現機制，不同的云平臺和部署環境也有不同的網絡要求，因此，使用哪種網絡插件需要根據實際情況進行選擇。

常用的 Kubernetes 網絡插件有以下幾種：

• Flannel：Flannel 是一個簡單而高效的容器網絡解決方案，它使用了類似于 Overlay 網絡的技術，為每個節點分配一個唯一的 IP 地址，并使用 VXLAN 或 UDP 封裝來實現容器之間的通信。
• Calico：Calico 是一個高性能的容器網絡解決方案，可以實現高效的容器間網絡通信和網絡安全。它使用了 BGP 協議來實現路由，并通過網絡策略實現容器訪問控制。
• Cilium：Cilium 是一種基于 eBPF (Extended Berkeley Packet Filter) 技術的容器網絡解決方案，可以提供高效、安全和可靠的容器間通信。它可以實現網絡隔離、網絡策略和流量審計等功能。

在選擇網絡插件時，需要考慮以下幾個方面：

• 性能：不同的網絡插件有不同的性能表現，需要根據實際應用場景進行選擇。
• 范圍：一些網絡插件只能為應用程序容器提供內部網絡，而另一些則可以為外部服務提供網絡服務。
• 安全性：一些網絡插件提供內置的安全功能來保護容器和云基礎設施。
• 易用性：一些網絡插件提供圖形化界面和易用的 API，方便用戶部署和管理。

2.配置 Kubernetes Ingress 控制器

在 Kubernetes 中，Ingress 控制器是一種負責管理外部流量進入 K8s 集群的組件，它可以使用不同的負載均衡算法將外部流量路由到不同的后端服務。Ingress 控制器常常被用于實現 Web 應用程序等場景的負載均衡和流量控制。

使用 Ingress 控制器時，需要設置一些安全規則來保護集群免受惡意攻擊。例如：

圖片

• 訪問控制：可以通過定義網絡策略來控制從外部訪問特定服務的權限，從而確保服務只能被授權用戶和應用程序訪問。
• SSL/TLS 加密：可以使用 SSL/TLS 加密來保護傳輸的數據?？梢詾?Ingress 控制器配置自簽名證書或購買權威證書。
• 限流：可以使用限流來控制流量，以防止 DDoS 攻擊。
• 訪問日志：可以啟用訪問日志來記錄所有流量，以便進行安全審計和調查。

3.安全使用 Kubernetes 服務

Kubernetes 服務是一種允許容器之間互相通信的抽象機制，它可以為容器動態生成一個穩定的 IP 地址，并提供負載均衡等重要功能。

使用 Kubernetes 服務時，需要注意以下幾個方面：

• 訪問控制：可以使用 Kubernetes 的內置功能來設置網絡策略，控制訪問服務的權限。例如，可以禁止外部服務訪問一些重要服務。
• 安全設置：需要設置安全設置來控制服務的訪問權限。例如，可以為服務配置 TLS 證書。
• 日志記錄：需要記錄服務的日志以便于審計和追蹤。
• 數據保護：需要設置備份和恢復策略以保護服務數據的完整性。

四、安全地運行 Kubernetes 工作負載

1.如何讓 Kubernetes Pod 更安全

在 Kubernetes 中，“Pod”是最小的環境單元，是一個或多個容器的集合。創建一個安全的 Pod 需要考慮以下幾個方面：

（1）限制資源

在 Kubernetes 中，可以利用 LimitRange 和在 PodLevel 中使用 resourceQuotas 實現資源的限制，并防止 Pod 超出其可用資源。通過設置資源限制，可以確保容器無法獲得超過它應有的資源。

（2）使用安全上下文

通過使用安全上下文，可以為某些容器設置用戶 ID（UID）和組 ID（GID）。這可以防止攻擊者訪問系統級別的文件或進程，并限制容器的能力。

Kubernetes 還允許配置特權上下文機制，在容器中取消安全限制，但這應該謹慎使用，盡可能避免。

（3）啟用 Kubernetes pod 安全策略

Kubernetes Pod 安全策略（PodSecurityPolicy）可幫助管理員對 Pod 下的容器應用程序執行強制安全性措施。PodSecurityPolicy 的使用可以防止容器從容器內部攻擊宿主機，也可以防止容器之間的攻擊。

（4）使用網絡隔離

使用 Kubernetes 的網絡插件或者其他鏈路層隔離技術，可以增強 Pod 的網絡隔離性和安全性。通過流量隔離，可以限制容器訪問其他容器或存儲卷等敏感資源，減少網絡攻擊的發生。

2.Kubernetes 容器安全最佳實踐

保護容器是保護 Kubernetes 集群的關鍵。下面介紹幾個將有助于提高容器安全性的 Kubernetes 容器安全實踐：

（1） 選擇適當的容器基礎映像

合理選擇 Docker 容器鏡像，標準鏡像推薦使用官方的鏡像倉庫。也可以使用 Docker 的安全組件進行容器基礎鏡像驗證。

（2）確保容器鏡像代碼病毒和漏洞掃描

使用容器鏡像掃描器，確保容器代碼沒有病毒和漏洞。掃描后把顯示代碼和漏洞進行修復，以致使用安全鏡像。

（3）配置容器安全策略

通過 Kubernetes 的容器安全策略 (PodSecurityPolicy) 配置容器安全策略，推薦使用 runtimeClass 策略 限制特權容器在 Pod 中的使用以及不安全容器的訪問權限。

（4）使用容器日志記錄

容器日志記錄可以方便管理員為容器的活動作出診斷和調整。用標準輸出優化容器日志并將其收集至安全中心或外部存儲。

（5） 運行應用程序多個實例

容器運行時保障應用程序的可用性并提供彈性，如果一個容器在發生故障的情況下，它不會影響應用程序的其余部分。運行多個實例時，確保使用負載均衡器，可使流量通過非常安全的通道路由，從而達到更好的安全保護。

（6）配置網絡安全

Kubernetes 集群應該配置網絡安全性保障，每個容器都應該擁有自己的 IP 和端口，網絡策略可以配置，以限制容器間的流量。

3.使用 Kubernetes 操作系統安全性修補程序

除容器安全外，還需要對 Kubernetes 工作節點的本身進行保護。特別是，要定期更新 操作系統的安全修補程序、Kubernetes 組件等。此外，Kubernetes 工作節點應配置安全接入，以限制不必要的訪問并保護集群免受未經授權的訪問和攻擊?？梢允褂?Kubernetes 各種安全組件，監視和警報安全事件，以及采取必要的措施和修復，以確保 Kubernetes 集群是可靠且安全的。

五、監控和日志管理

1.使用 Kubernetes 安全掃描器

使用 Kubernetes 安全掃描器可以自動掃描 Kubernetes 集群中的容器映像和資源配置，查找潛在的安全漏洞和風險。以下是一些常見的安全掃描器：

• Aqua Security：一家提供容器安全和策略管理的公司，其 Aqua Security Scanner 可以掃描應用程序容器映像并提供漏洞分析、風險評估和建議。
• Clair：一個開源的容器漏洞掃描器，它與 CoreOS、Docker、Kubernetes 等平臺兼容。
• Anchore：一個開源的容器映像分析工具，它可以評估映像的安全性、配置、性能等方面，并提供警報和建議。
• Sysdig Secure：一種綜合安全解決方案，它在 Kubernetes 中提供運行時掃描、攻擊檢測、一致性和符合性審計等功能。

2.在 Kubernetes 中啟用日志記錄

為了增強安全和故障排除能力，在 Kubernetes 中啟用日志記錄非常重要。以下是一些常見的日志記錄解決方案：

• Fluentd：一種開源的日志收集器和分發器，它可以集中管理多個 Kubernetes 集群中的日志，并將其發送到相應的后端存儲、分析或可視化工具中。
• Elasticsearch-Fluentd-Kibana（EFK）堆棧：一個流行的日志記錄解決方案，它結合了 Elasticsearch、Fluentd 和 Kibana 三個工具，實現了日志的集中式管理、搜索和可視化。
• Loki：一種開源的日志聚合器，它專門針對 Kubernetes 和容器環境進行了優化，提供高度可擴展和高效的日志收集和查詢功能。

3.在 Kubernetes 中添加監視

監視 Kubernetes 集群和應用程序的狀態可以幫助您及時發現和解決問題，并提高可靠性和可用性。以下是一些常見的監視解決方案：

• Prometheus：一種開源的時間序列數據庫和監視系統，它可以監視 Kubernetes 中的各種指標和事件，并提供靈活的警報和查詢功能。它還可以與 Grafana 等可視化工具結合使用，使您可以更容易地了解整個系統的狀況。
• Datadog：一種集成的監視和分析平臺，它支持 Kubernetes、容器等多種技術棧，并提供實時指標、日志和跟蹤數據的可視化和警報。
• Sysdig Monitor：一個提供實時容器監視、安全性、性能和可靠性指標的解決方案，支持 Kubernetes、Docker、Mesos 和 Amazon Web Services 等平臺。

六、更新和備份 Kubernetes 集群

1.使用 Kubernetes 滾動升級

Kubernetes 提供了一種滾動升級的方式來升級您的集群。滾動升級指的是逐步升級集群中的每個節點，確保在進行升級時始終保持集群的可用性。使用滾動升級時，您可以通過控制升級的速度和范圍，以確保每個節點都能夠成功升級并保持集群的穩定性。參考以下步驟進行 Kubernetes 滾動升級：

• 使用 kubectl drain 命令從集群中排除一個節點，并將其生產負載移到其他節點上。
• 運行 kubectl upgrade 命令以將節點升級到新版本。
• 使用 kubectl uncordon 命令將節點重新加入集群，并讓其重新承擔生產負載。
• 重復上述步驟，直到所有節點都成功升級為止。

2.執行自動備份和還原

您可以使用 Kubernetes 的 Backup and Restore（Velero）插件執行自動備份和還原操作，以保護您的應用程序和數據。Velero 可以備份 Kubernetes 應用程序和其依賴項（如存儲、配置和密鑰等）的狀態，并在需要時將其還原到先前的狀態。參考以下步驟使用 Velero 執行 Kubernetes 備份和恢復：

• 安裝 Velero 插件并配置備份存儲和密鑰。
• 運行 velero backup create 命令以創建備份。
• 運行 velero restore create 命令以將備份還原到當前的 Kubernetes 環境。
• 查看通過 velero backup get 命令獲得的備份歷史記錄。

七、 安全 Kubernetes 的最佳實踐

1.持續漏洞管理和修復

持續漏洞管理和修復是保持 Kubernetes 安全的關鍵。以下是一些實踐建議：

• 使用自動化工具進行漏洞掃描和修復，并確保定期執行掃描操作。
• 及時升級 Kubernetes 版本和容器映像，以修復已知漏洞和安全問題。
• 使用最小特權原則，僅授予容器和節點所需的權限和訪問級別。
• 使用網絡和安全策略來限制容器和節點之間的通信，并確保安全地與外部應用程序進行通信。

2.安全使用 Kubernetes API 對象

Kubernetes API 對象是 Kubernetes 中的核心元素，因此確保安全使用它們非常重要。以下是一些關于安全使用 Kubernetes API 對象的最佳實踐：

• 實施訪問控制，使用 RBAC 或其他訪問控制工具來限制使用 API 對象的用戶和服務賬戶的權限。
• 配置 TLS 加密，Kubernetes API 使用 TLS 保護通信，因此確保啟用和正確配置 TLS 加密以防止未經授權的訪問和攻擊。
• 限制公開訪問，不要把 Kubernetes API 暴露在公共網絡上，而是將其限制為安全的內部網絡。
• 審計和監控 Kubernetes API 的使用，以檢測未經授權的訪問和異?；顒?。

3.Kubernetes 安全審計策略

Kubernetes 安全審計策略可以幫助您跟蹤和監視 Kubernetes 集群中的活動，并幫助您及時檢測和響應安全漏洞和攻擊。以下是一些最佳實踐：

• 跟蹤重要的 Kubernetes API 對象和敏感操作（如創建、刪除和修改操作）的訪問和使用情況。
• 存儲審計日志并定期分析它們，以查找異?；顒雍蜐撛诘陌踩L險。
• 建立警報和響應機制，以便在檢測到安全事件時及時采取行動。
• 定期檢查和更新審計策略，以確保其有效性和適應性。