云原生之Docker容器跨主機指定IP通信
作者：mc_開發(fā)者
對開發(fā)者而言，隨著容器的普遍使用，開發(fā)者可以很方便的搭建項目的簡易測試環(huán)境。
一、前言
1、使用場景
對開發(fā)者而言，隨著容器的普遍使用，開發(fā)者可以很方便的搭建項目的簡易測試環(huán)境。有時候為了項目可以在任意機器一鍵運行，不用配置連接IP等信息。所以希望可以提前固定容器的IP地址，而且一個項目有時候涉及多個容器，可能還會部署在多臺機器上。所以如果容器間可以固定IP跨機器通信的話，會有很大方便。
2、docker網(wǎng)絡
- docker容器默認是一個有自己獨立網(wǎng)絡空間的虛擬系統(tǒng)。
- docker安裝后自動創(chuàng)建3中網(wǎng)絡：bridge、host、none。
- bridge：網(wǎng)橋模式，默認創(chuàng)建docker0網(wǎng)橋，172.17.0.0/16，宿主機可訪問，外部機器不可見。
- host：共享宿主機網(wǎng)絡模式，外部主機與容器直接通信，容器缺少了隔離性。
- none：禁用網(wǎng)絡模式。
- docker自定義網(wǎng)絡
docker提供了三種自定義網(wǎng)絡驅動：bridge、overlay、macvlan。
- bridge驅動類似默認的bridge網(wǎng)絡模式。
- overlay和macvlan是用于創(chuàng)建跨主機網(wǎng)絡。
- 支持自定義網(wǎng)段、網(wǎng)關，docker network create --subnet 172.77.0.0/24 --gateway 172.77.0.1 my_net。
- docker創(chuàng)建容器使用默認docker0網(wǎng)絡不支持自定義固定IP，都是動態(tài)的。
3、自定義網(wǎng)絡使用
- 自定義創(chuàng)建網(wǎng)段。docker network create --subnet=172.18.0.0/16 spark-net。
- 指定網(wǎng)絡驅動docker network create -d overlay --subnet 10.22.1.0/24 --gateway 10.22.1.1 spark-net-0。
- 創(chuàng)建容器固定IP。
docker run --name cloud1 \
--net spark-net --ip 172.18.0.2 \
-h cloud1 \
-it ubuntu
docker run --name cloud1_0 \
--network spark-net-0 --ip 10.22.1.26 \
-h cloud1 \
-it ubuntu
二、實踐操作
1、Overlay網(wǎng)絡模式詳解
- Overlay網(wǎng)絡是目前比較主流的跨節(jié)點容器間數(shù)據(jù)傳輸和路由方案。
- Overlay網(wǎng)絡模式在主機網(wǎng)絡之上，在多個Docker主機之間實現(xiàn)分布式網(wǎng)絡，允許跨容器之間的交互。
- Overlay網(wǎng)絡是指在不改變現(xiàn)有網(wǎng)絡基礎設施的前提下，通過某種約定通信協(xié)議，把二層報文封裝在IP報文之上的新的數(shù)據(jù)格式。
2、Consul服務發(fā)現(xiàn)
- Consul是一個分布式、高可用性和多數(shù)據(jù)中心感知工具，用于服務發(fā)現(xiàn)、配置和編排。Consul 支持大規(guī)模快速部署、配置和維護面向服務的架構。
- 部署單節(jié)點的consul服務（可選擇公網(wǎng)服務器，或者能與其他部署容器通信的主機）。
# 拉取鏡像
docker pull progrium/consul
# 運行consul容器
docker run -d -p 8500:8500 -h consul --name consul --restart=always progrium/consul -server -bootstrap
# -h：表示consul的主機名
# --name consul：表示為該容器名
# --restart=always表示可以隨著docker服務的啟動而啟動；
# 運行consul容器，該服務的默認端口是8500；-p：表示將容器的8500端口映射到宿主機的8500端口
# -serve -bootstarp：表示當在群集中，加上這兩個選項可以使其以master的身份出現(xiàn)
- 管理訪問地址
http://IP:8500/ui/#/dc1/kv/docker/nodes/。
3、修改docker配置
# 所有需要通信的機器都需要修改
vim /etc/docker/daemon.json
# 增加 cluster-store、cluster-advertise兩個參數(shù)
{
"registry-mirrors": ["https://xxxx.xxxx.aliyuncs.com","https://registry.docker-cn.com"],
"cluster-store": "consul://IP:8500",
"cluster-advertise": "ens33:2376"
}
# cluster-store，是配置sonsul集群的訪問地址
# cluster-advertise，是廣播通信地址和端口
# 重啟docker
systemctl daemon-reload
systemctl restart docker
#如果有端口拒絕訪問問題，可直接關掉防火墻
#停止firewall
systemctl stop firewalld.service
#禁止firewall開機啟動
systemctl disable firewalld.service
#查看開放端口列表
firewall-cmd --list-ports
4、實踐機器規(guī)劃
本文實踐創(chuàng)建了3臺虛機：192.168.17.150 192.168.17.151 192.168.17.152。
5、創(chuàng)建overlay網(wǎng)絡
- 選其中一臺機器執(zhí)行，例如在192.168.17.150執(zhí)行
# 創(chuàng)建overlay網(wǎng)絡，并自定義制定網(wǎng)段以及網(wǎng)關
# 可以通過制定不同的網(wǎng)段，以隔離不同的服務
docker network create -d overlay --subnet 10.22.1.0/24 --gateway 10.22.1.1 spark-net
# 每臺機器查看創(chuàng)建的網(wǎng)絡
docker network ls
# 查看具體信息
docker network inspect spark-net
- 刪除網(wǎng)絡命令
# 刪除自定義網(wǎng)絡
docker network rm spark-net
# 如果有已連接的，先斷開連接
docker network disconnect -f net-spark con1
- 注意
例如：在cloud1機器上，可以執(zhí)行docker network disconnect -f spark-net cloud2但是執(zhí)行docker network disconnect -f spark-net cloud1就無效，必須跨機器執(zhí)行斷連。
6. 跨主機創(chuàng)建容器驗證
本文依賴上篇文章創(chuàng)建了3個容器, 可查看 ??Docker搭建大數(shù)據(jù)平臺之Hadoop,Spark,Hive初探??。
192.168.17.150機器上執(zhí)行。
docker run --name cloud1 \
-p 50070:50070 \
-p 8088:8088 \
-p 8080:8080 \
-p 7077:7077 \
-p 9000:9000 \
-p 16010:16010 \
--network net-spark --ip 10.22.1.26 \
-h cloud1 \
--add-host cloud1:10.22.1.26 \
--add-host cloud2:10.22.1.27 \
--add-host cloud3:10.22.1.28 \
-it spark:v4
192.168.17.151機器上執(zhí)行。
docker run --name cloud2 \
--network net-spark --ip 10.22.1.27 \
-h cloud2 \
--add-host cloud1:10.22.1.26 \
--add-host cloud2:10.22.1.27 \
--add-host cloud3:10.22.1.28 \
-it spark:v4
192.168.17.152機器上執(zhí)行。
docker run --name cloud3 \
--network net-spark --ip 10.22.1.28 \
-h cloud3 \
--add-host cloud1:10.22.1.26 \
--add-host cloud2:10.22.1.27 \
--add-host cloud3:10.22.1.28 \
-it spark:v4
可分別在三個容器內互相ping IP10.22.1.26、10.22.1.27、10.22.1.28驗證。
三、常見問題
1、如遇錯誤常用命令
- 如果網(wǎng)絡改動，需要重啟docker
systemctl daemon-reload
systemctl restart docker
- 關掉防火墻
# 停止firewall
systemctl stop firewalld.service
# 禁止firewall開機啟動
systemctl disable firewalld.service
# 查看開放端口列表
firewall-cmd --list-ports
# 開放端口
firewall-cmd --zone=public --add-port=2379/tcp --permanent
# 重新載入
firewall-cmd --reload
2、將容器以指定IP鏈接到自定義網(wǎng)絡中
#容器cloud3以IP10.22.1.28鏈接到overlay網(wǎng)絡spark-net
docker network connect --ip 10.22.1.28 spark-net cloud3
3、將容器從自定義網(wǎng)絡中刪除
# 注意不可在當前容器里執(zhí)行斷連
# 例如 需要斷連容器cloud2，則需要在容器cloud1中執(zhí)行如下命令
docker network disconnect -f spark-net cloud2
4、manager節(jié)點無法接入
docker.service配置 -H tcp://0.0.0.0:2376 --cluster-store=consul://121.4.138.199:8500 --cluster-advertise=ens33:2376 并不能正確執(zhí)行，原理暫未知。
責任編輯：jianghua
來源：
鴻蒙社區(qū)
