Micro-PaaS典型代表:Kubernetes技術分析入門
概述
Docker的流行激活了一直不溫不火的PaaS,隨著而來的是各類Micro-PaaS的出現,Kubernetes是其中最具代表性的一員,它是Google多年大規模容器管理技術的開源版本。本系列文章將逐一分析Kubernetes,本文通過一個例子進行入門,介紹Kubernetes的基本概念和功能。
1. Kubernetes介紹
基本概念
- Pod
Pod是Kubernetes的基本操作單元,把相關的一個或多個容器構成一個Pod,通常Pod里的容器運行相同的應用。Pod包含的容器運行在同一個Node(Host)上,看作一個統一管理單元,共享相同的volumes和network namespace/IP和Port空間。
- Replication Controller
Replication Controller確保任何時候Kubernetes集群中有指定數量的pod副本(replicas)在運行, 如果少于指定數量的pod副本(replicas),Replication Controller會啟動新的Container,反之會殺死多余的以保證數量不變。Replication Controller使用預先定義的pod模板創建pods,一旦創建成功,pod 模板和創建的pods沒有任何關聯,可以修改pod 模板而不會對已創建pods有任何影響,也可以直接更新通過Replication Controller創建的pods。對于利用pod 模板創建的pods,Replication Controller根據label selector來關聯,通過修改pods的label可以刪除對應的pods。
- Service
Service也是Kubernetes的基本操作單元,是真實應用服務的抽象,每一個服務后面都有很多對應的容器來支持,通過Proxy的port和服務selector決定服務請求傳遞給后端提供服務的容器,對外表現為一個單一訪問接口,外部不需要了解后端如何運行,這給擴展或維護后端帶來很大的好處。
- Label
Label是用于區分Pod、Service、Replication Controller的key/value鍵值對,Pod、Service、 Replication Controller可以有多個label,但是每個label的key只能對應一個value。Labels是Service和Replication Controller運行的基礎,為了將訪問Service的請求轉發給后端提供服務的多個容器,正是通過標識容器的labels來選擇正確的容器。同樣,Replication Controller也使用labels來管理通過pod 模板創建的一組容器,這樣Replication Controller可以更加容易,方便地管理多個容器,無論有多少容器。
架構
Kubernets屬于主從的分布式集群架構,包含Master和Node:
1. Master作為控制節點,調度管理整個系統,包含以下組件:
- API Server作為kubernetes系統的入口,封裝了核心對象的增刪改查操作,以RESTFul接口方式提供給外部客戶和內部組件調用。它維護的REST對象將持久化到etcd(一個分布式強一致性的key/value存儲)。
- Scheduler:負責集群的資源調度,為新建的pod分配機器。這部分工作分出來變成一個組件,意味著可以很方便地替換成其他的調度器。
- Controller Manager:負責執行各種控制器,目前有兩類:(1)Endpoint Controller:定期關聯service和pod(關聯信息由endpoint對象維護),保證service到pod的映射總是最新的。(2)Replication Controller:定期關聯replicationController和pod,保證replicationController定義的復制數量與實際運行pod的數量總是一致的。
Node是運行節點,運行業務容器,包含以下組件:
Kubelet:責管控docker容器,如啟動/停止、監控運行狀態等。它會定期從etcd獲取分配到本機的pod,并根據pod信息啟動或停止相應的容器。同時,它也會接收apiserver的HTTP請求,匯報pod的運行狀態。
Kube Proxy:負責為pod提供代理。它會定期從etcd獲取所有的service,并根據service信息創建代理。當某個客戶pod要訪問其他pod時,訪問請求會經過本機proxy做轉發。
Kubernets使用Etcd作為存儲和通信中間件,實現Master和Node的一致性,這是目前比較常見的做法,典型的SOA架構,解耦Master和Node。
#p#
2. Guestbook示例
Guestbook示例將會展示如何運行一個應用到Kubernetes上,應用包含
- Web前端
- Redis集群(一個master,2個slave)
1) 部署Kubernetes
如果你熟悉Bosh/Bosh Lite的話,可以使用kubernetes-release.本文使用Kubernetes環境:
- master:192.168.3.146
- node1:192.168.3.147
- node2:192.168.3.148
- node3:192.168.3.149
2)啟動Redis Master
需要準備配置文件redis-master-controller.yaml,用于描述pod如何運行服務容器:
apiVersion: v1 kind: ReplicationController metadata: name: redis-master labels: name: redis-master spec: replicas: 1 selector: name: redis-master template: metadata: labels: name: redis-master spec: containers: - name: master image: redis ports: - containerPort: 6379
即使只有一個Redis Master Pod實例,這里也使用ReplicationController保證Pod持續運行,否則Node掛掉的話,Pod將停止運行。
創建Pod:
- $ kubectl create -f redis-master-controller.yaml
查看ReplicationController:
- $ kubectl get rc
- CONTROLLER CONTAINER(S) IMAGE(S) SELECTOR REPLICAS
- redis-master master redis name=redis-master 1
查看Pod:
- $ kubectl get pods -o wide
- NAME READY STATUS RESTARTS AGE NODE
- redis-master-u3fup 1/1 Running 0 2m node1
可以看到Pod運行在Node1節點,在Node1查看docker容器:
- $ docker ps
- CONTAINER ID IMAGE ...
- feb393fbe42b redis:latestminute ago ...
- d9e934ee55ae gcr.io/google_containers/pause:0.8.0 ...
總共有2個容器正在運行,其中一個Redis Master,另外一個是google_containers/pause,它是Netowrk Container, 每啟動一個Pod都會附加啟動這樣一個容器,它的作用就只是簡單的等待,設置Pod的網絡。
如果docker rm -f feb393fbe42b,刪掉Redis Master Container,過一會兒就會有新的容器啟動,這說明Kubernetes會保證Pod的容器運行。
- $ docker ps
- CONTAINER ID IMAGE ...
- fc3b458d333a redis:latestminute ago ...
- d9e934ee55ae gcr.io/google_containers/pause:0.8.0 ...
如果把Node1關掉,Pod會遷移到其他Node上,這是ReplicationController保證Pod運行。
- $ kubectl get pods -o wide
- NAME READY STATUS RESTARTS AGE NODE
- redis-master-x5kjp 0/1 Running 0 7s node3
上一步已經運行起了一個Redis Master Pod, 即使只有一個Pod,也是有必要使用Service。Kubernetes中Service中起到了負載均衡器的作用,通過Proxy和Selector決定服務請求傳遞給后端提供服務的Pod,對外提供固定的IP,這樣的話Redis Master Pod遷移變化也不會影響。
需要redis-master-service.yaml來描述redis master service:
apiVersion: v1 kind: Service metadata: name: redis-master labels: name: redis-master spec: ports: # the port that this service should serve on - port: 6379 targetPort: 6379 selector: name: redis-master #和redis-master的Label對應
創建Service:
- $ kubectl create -f redis-master-service.yaml
查看Service:
$ kubectl get service
- NAME LABELS SELECTOR IP(S) PORT(S)
- redis-master name=redis-master name=redis-master 10.254.189.63 6379/TCP
Kubernetes會分配IP(10.254.189.63)給Redis Master Service,這個就是Redis Master Service對外暴露的IP,可以通過redis-cli訪問:
- $ redis-cli -h 10.254.189.63 info
#p#
Kubernetes同時提供2種了發現Service的方法:
- 環境變量
當Pod運行的時候,Kubernetes會將之前存在的Service的信息通過環境變量寫到Pod里面,以Redis Master Service為例,它的信息會被寫到新的Pod里面:
"REDIS_MASTER_PORT_6379_TCP=tcp://10.254.189.63:6379", "REDIS_MASTER_PORT_6379_TCP_PROTO=tcp", "REDIS_MASTER_PORT_6379_TCP_ADDR=10.254.189.63", "REDIS_MASTER_SERVICE_PORT=6379", "REDIS_MASTER_SERVICE_HOST=10.254.189.63", "REDIS_MASTER_PORT=tcp://10.254.189.63:6379", "REDIS_MASTER_PORT_6379_TCP_PORT=6379",
這種方法有個比較明顯的缺陷,Pod必須在Service之后啟動,之前啟動的Pod將沒有這些環境變量。那么下一種方法就沒有這個限制。
- DNS
當有新的Service創建,就會自動生成一條DNS記錄,比如在Kubernetes的Namespace "my-ns"中有個Service叫"my-service",那么就有條DNS記錄"my-service.my-ns"對應Service的IP。以Redis Master Service為例, 就有條DNS記錄:
- redis-master => 10.254.189.63
3)啟動Redis Slave
apiVersion: v1 kind: ReplicationController metadata: name: redis-slave labels: name: redis-slave spec: replicas: 2 selector: name: redis-slave template: metadata: labels: name: redis-slave spec: containers: - name: worker image: kubernetes/redis-slave:v2 ports: - containerPort: 6379
創建Pod:
$ kubectl create -f redis-slave-controller.yaml $ kubectl get rc CONTROLLER CONTAINER(S) IMAGE(S) SELECTOR REPLICAS redis-master master redis name=redis-master 1 redis-slave worker kubernetes/redis-slave:v2 name=redis-slave 2 $ kubectl get pods -o wide NAME READY STATUS RESTARTS AGE NODE redis-master-x5kjp 1/1 Running 0 1h node3 redis-slave-04o8g 1/1 Running 0 5m node1 redis-slave-llxpk 1/1 Running 0 5m node1
redis-slave-service.yaml:
apiVersion: v1 kind: Service metadata: name: redis-slave labels: name: redis-slave spec: ports: # the port that this service should serve on - port: 6379 selector: name: redis-slave
創建Service:
$ kubectl create -f redis-slave-service.yaml
$ kubectl get service
NAME LABELS SELECTOR IP(S) PORT(S)
redis-master name=redis-master name=redis-master 10.254.189.63 6379/TCP
redis-slave name=redis-slave name=redis-slave 10.254.70.184 6379/TCP
4)啟動Web Frontend
$ kubectl create -f redis-slave-service.yaml $ kubectl get service NAME LABELS SELECTOR IP(S) PORT(S) redis-master name=redis-master name=redis-master 10.254.189.63 6379/TCP redis-slave name=redis-slave name=redis-slave 10.254.70.184 6379/TCP
創建Pod:
$ kubectl create -f frontend-controller.yaml $ kubectl get rc CONTROLLER CONTAINER(S) IMAGE(S) SELECTOR REPLICAS frontend php-redis kubernetes/example-guestbook-php-redis:v2 name=frontend 3 redis-master master redis name=redis-master 1 redis-slave worker kubernetes/redis-slave:v2 name=redis-slave 2 $ kubectl get pods NAME READY STATUS RESTARTS AGE frontend-7ukb6 1/1 Running 0 45s frontend-8ch4l 1/1 Running 0 45s frontend-n8l7w 1/1 Running 0 45s redis-master-x5kjp 1/1 Running 0 3h redis-slave-04o8g 1/1 Running 0 2h redis-slave-llxpk 1/1 Running 0 2h
apiVersion: v1 kind: Service metadata: name: frontend labels: name: frontend spec: ports: # the port that this service should serve on - port: 80 selector: name: frontend
創建Service:
$ kubectl create -f frontend-service.yaml $ kubectl get service NAME LABELS SELECTOR IP(S) PORT(S) frontend name=frontend name=frontend 10.254.58.118 80/TCP redis-master name=redis-master name=redis-master 10.254.189.63 6379/TCP redis-slave name=redis-slave name=redis-slave 10.254.70.184 6379/TCP
Web Frontend是需要對外暴露的,這樣外部網絡才能真正訪問該應用,Kubernetes提供了2種方式暴露Service到外部網絡:
- NodePort
Kubernetes將會在每個Node上設置一個Port,訪問該Port會被轉發到對應的Service。這支持開發者設置自己的LoadBalancer。
- LoadBalancer
Kubernetes會設置LoadBalancer給Service。
本文采用NodePort方式, 更改frontend-service.yaml:
apiVersion: v1 kind: Service metadata: name: frontend labels: name: frontend spec: type: NodePort ports: # the port that this service should serve on - port: 80 nodePort: 30061 selector: name: frontend
那么就可以通過任意節點訪問該應用:
參考
http://kubernetes.io/v1.0/docs
https://github.com/GoogleCloud ... es.md
https://github.com/GoogleCloud ... tbook
作者簡介
吳龍輝,現任網宿科技高級運營工程師,致力于云計算PaaS的研究和實踐,活躍于CloudFoundry、Docker、Kubernetes等開源社區,貢獻代碼和撰寫技術文檔。
郵箱:wulh@chinanetcenter.com/wlh6666@qq.com
原文鏈接:http://www.dockone.io/article/542