云原生二十篇|Docker網絡篇
本文介紹Docker的網絡，包括網橋，Overlay等。
第一部分：Docker網絡
Docker網絡需要處理容器之間，容器與外部網絡和VLAN之間的連接，設置之初相對復雜，隨著容器化的發展，Docker網絡架構采用容器網絡模型方案（CNM），支持拔插式的驅動方式來提供網絡拓撲。
1、詳解（1）CNM
Docker的網絡架構設計規范是CNM，CNM規定了基本組成要素：
沙盒：是一種獨立的網絡棧，包括以太網接口，端口，路由以及DNS配置
終端（EP）：虛擬網絡接口，負責創建連接，將沙盒連接到網絡
網絡：網橋的軟件實現
圖片
（2）Libnetwork
Libnetwork是CNM的標準實現，支持跨平臺，3個標準的組件和服務發現，基于Ingress的容器負載均衡，以及網絡控制層和管理層的功能。
圖片
（3）網絡模式網橋（Bridge）：Docker默認的容器網絡驅動，容器通過一對veth pair連接到docker0網橋上，由Docker為容器動態分配IP及配置路由、防火墻規則等，具體詳解可以查看第二部分；
Host：容器與主機共享同一Network Namespace，共享同一套網絡協議棧、路由表及iptables規則等，執行docker run --net=host centos:7 python -m SimpleHTTPServer 8081，然后查看看網絡情況(netstat -tunpl) :
[root@VM-16-16-centos ~]# netstat -tunpl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:8081 0.0.0.0:* LISTEN 1409899/python可以看出host模型下，和主機上啟動一個端口沒有差別，也不會做端口映射，所以不能啟動的服務在主機端口范圍內不能沖突；
Overlay：多機覆蓋網絡是Docker原生的跨主機多子網網絡方案，主要通過使用Linux bridge和vxlan隧道實現，底層通過類似于etcd或consul的KV存儲系統實現多機的信息同步，具體詳解可以看第二部分；
Remote：Docker網絡插件的實現，可以借助Libnetwork實現網絡自己的網絡插件；
None：模式是最簡單的網絡模式，它會使得Docker容器完全隔離，無法訪問外部網絡。在None模式下，容器不會被分配IP地址，也無法與其他容器和主機通信，可以嘗試執行docker run --net=none centos:7 python -m SimpleHTTPServer 8081，然后curl xxx.com應該是無法訪問的。
第二部分：網橋和Overlay詳解
Docker中最常用的兩種網絡是網橋和Overlay，網橋是解決主機內多容器通訊，Overlay是解決跨主機多子網網絡，下面我們來詳細了解一下這兩種網絡模式。
1、網橋（Bridge）
網橋是什么？同tap/tun、veth-pair一樣，網橋是一種虛擬網絡設備，所以具備虛擬網絡設備的所有特性，比如可以配置IP、MAC等，除此之外，網橋還是一個二層交換機，具有交換機所有的功能。
（1）創建Docker daemon啟動時會在主機創建一個Linux網橋（默認為docker0），容器啟動時，Docker會創建一對veth-pair（虛擬網絡接口）設備，veth設備的特點是成對存在，從一端進入的數據會同時出現在另一端，Docker會將一端掛載到docker0網橋上，另一端放入容器的Network Namespace內，從而實現容器與主機通信的目的。
圖片
（2）查看網橋執行docker network ls，輸出：
[root@VM-16-16-centos ~]# docker network ls
NETWORK ID NAME DRIVER SCOPE
839c78d16e66 bridge bridge local
7865e8dc7489 host host local
e904b639a46d k3d-k3d-private bridge local
e6e4904ea322 none null local（3）查看網橋的詳細信息先執行docker run -d --name busybox-1 busybox echo "1"和docker run -d --name busybox-2 busybox echo "2"，然后執行docker inspect bridge，可以看到輸出網橋IPv4Address，MacAddress和EndpointID等：
"Containers": {
"bbd7d0775081dd9a9d026ca4c8e3ec2e1a4b19bead122eac94cd58f1fa118827": {
"Name": "busybox-2",
"EndpointID": "a82be8a01e25f5267fd6286c10eb1c72a1dd1c1933dcc84a82b286162767923c",
"MacAddress": "02:42:ac:11:00:03",
"IPv4Address": "172.17.0.3/16",
"IPv6Address": ""
},
"fa14fa3e167d17922a94153c0e0eb83e244ef7b20f9fc04d05db2589828e747c": {
"Name": "busybox-1",
"EndpointID": "90f614cc4b2e4c5d2baa75facfa8e493d287cbb9ae39edaecb3ec67915d2df2b",
"MacAddress": "02:42:ac:11:00:02",
"IPv4Address": "172.17.0.2/16",
"IPv6Address": ""
}
}（4）探測網橋是否正?？梢赃M入busybox-2容器，執行ping 172.17.0.2，輸出（可見是可以通的）：
PING 172.17.0.2 (172.17.0.2): 56 data bytes
64 bytes from 172.17.0.2: seq=0 ttl=64 time=0.115 ms
64 bytes from 172.17.0.2: seq=1 ttl=64 time=0.079 ms
64 bytes from 172.17.0.2: seq=2 ttl=64 time=0.051 ms
64 bytes from 172.17.0.2: seq=3 ttl=64 time=0.066 ms
64 bytes from 172.17.0.2: seq=4 ttl=64 time=0.051 ms
^C
--- 172.17.0.2 ping statistics ---
5 packets transmitted, 5 packets received, 0% packet loss
round-trip min/avg/max = 0.051/0.072/0.115 ms（5）端口映射基于上面我們已經了解容器與容器之間的通訊，那么Docker端口映射是如何通訊的呢？先執行 docker run -d -p 8000:8000 centos:7 python -m SimpleHTTPServer 建立映射關系，然后查看 iptables，執行iptables -t nat -nvL：
[root@VM-16-16-centos ~]# iptables -t nat -nvL
Chain PREROUTING (policy ACCEPT 0 packets, 0 bytes)
pkts bytes target prot opt in out source destination
203K 7590K DOCKER all -- * * 0.0.0.0/0 0.0.0.0/0 ADDRTYPE match dst-type LOCAL
Chain INPUT (policy ACCEPT 0 packets, 0 bytes)
pkts bytes target prot opt in out source destination
Chain POSTROUTING (policy ACCEPT 0 packets, 0 bytes)
pkts bytes target prot opt in out source destination
0 0 MASQUERADE all -- * !docker0 172.17.0.0/16 0.0.0.0/0
26 1680 MASQUERADE all -- * !br-e904b639a46d 172.18.0.0/16 0.0.0.0/0
0 0 MASQUERADE tcp -- * * 172.18.0.2 172.18.0.2 tcp dpt:6443
0 0 MASQUERADE tcp -- * * 172.17.0.5 172.17.0.5 tcp dpt:8000
Chain OUTPUT (policy ACCEPT 0 packets, 0 bytes)
pkts bytes target prot opt in out source destination
0 0 DOCKER all -- * * 0.0.0.0/0 !127.0.0.0/8 ADDRTYPE match dst-type LOCAL
Chain DOCKER (2 references)
pkts bytes target prot opt in out source destination
0 0 RETURN all -- docker0 * 0.0.0.0/0 0.0.0.0/0
0 0 RETURN all -- br-e904b639a46d * 0.0.0.0/0 0.0.0.0/0
0 0 DNAT tcp -- !br-e904b639a46d * 0.0.0.0/0 0.0.0.0/0 tcp dpt:37721 to:172.18.0.2:6443
0 0 DNAT tcp -- !docker0 * 0.0.0.0/0 0.0.0.0/0 tcp dpt:8000 to:172.17.0.5:8000可以看出只要是非docker0進來的數據包（如eth0進來的數據），都是8000直接轉到172.17.0.5:8000，可以看出這里是借助iptables實現的。
（6）網橋模式下的Docker網絡流程
- 容器與容器之前通訊是通過Network Namespace, bridge和veth pair這三個虛擬設備實現一個簡單的二層網絡，不同的namespace實現了不同容器的網絡隔離讓他們分別有自己的ip，通過veth pair連接到docker0網橋上實現了容器間和宿主機的互通；
- 容器與外部或者主機通過端口映射通訊是借助iptables，通過路由轉發到docker0，容器通過查詢CAM表，或者UDP廣播獲得指定目標地址的MAC地址，最后將數據包通過指定目標地址的連接在docker0上的veth pair設備，發送到容器內部的eth0網卡上；
- 容器與外部或者主機通過端口映射通訊對應的限制是相同的端口不能在主機下重復映射；
2、Overlay
在云原生下集群通訊是必須的，當然Docker提供多種方式，包括借助Macvlan接入VLAN網絡，另一種是Overlay。那什么是Overlay呢？指的就是在物理網絡層上再搭建一層網絡，通過某種技術再構建一張相同的邏輯網絡。
（1）原理
VXLAN
在講原理之前先了解一下VXLAN網絡，什么VXLAN網絡？VXLAN全稱是Visual eXtensible Local Area Network，本質上是一種隧道封裝技術，它使用封裝/解封裝技術，將L2的以太網幀（Ethernet frames）封裝成L4的UDP數據報（datagrams），然后在L3的網絡中傳輸，效果就像L2的以太網幀在一個廣播域中傳輸一樣，實際上是跨越了L3網絡，但卻感知不到L3網絡的存在。那么容器B發送請求給容器A（ping）的具體流程是怎樣的？
VXLAN
- 1.容器B執行ping，流量通過BridgeA的veth接口發送出去，但是這個時候BridgeB并不知道要發送到哪里（BridgeB沒有MAC與容器A的IP映射表），所以BridgeB將通過VTEP解析ARP協議，確定MAC和IP以后，將真正的數據包轉發給VTEP，帶上VTEP的MAC地址
- 2.VTEP-B收到數據包，通過Swarm的集群的網絡信息中知道目標IP是容器B
- 3.VTEP-B將數據包封裝為VXLAN格式（數據包中存儲了VXLAN的ID，記錄其映射關系）
- 4.實際底層VTEP-B將數據包通過主機B的UDP物理通道將VXLAN數據包封裝為UDP發送出去
- 5-6.通過隧道傳輸（UDP端口：4789），數據包到達VTEP-A，VTEP-A解析數據包讀取其中的VXLAN的ID，確定發送到哪個網橋
- 7.VTEP-A繼續解包和封包，將數據從UDP中拆解出來，重新組裝網絡協議包，發送給BridgeA
- 8.BridgeA收到數據，通過veth發給容器A，回包的過程就是反向處理
（2）創建（Overlay）執行docker swarm init，然后創建test-net（docker network create --subnet=10.1.1.0/24 --subnet=11.1.1.0/24 -d overlay test-net），查看網絡創建情況：
[root@VM-16-16-centos ~]# docker network ls
NETWORK ID NAME DRIVER SCOPE
839c78d16e66 bridge bridge local
d35cd7f611a6 docker_gwbridge bridge local
7865e8dc7489 host host local
kxda014niohv ingress overlay swarm
e904b639a46d k3d-k3d-private bridge local
e6e4904ea322 none null local
20miz5lia741 test-net overlay swarm發現最后一行test-net創建成功。然后創建一個sevice，replicas等于2來看看網絡情況，執行（docker service create --name test --network test-net --replicas 2 centos:7 sleep infinity），由于有兩臺物理機器，可以看看網絡和服務情況：
# 第一臺物理機器
[root@VM-16-16-centos ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
32e4ada62916 centos:7 "sleep infinity" 3 minutes ago Up 3 minutes test.2.5j5bm8m0g96enm3ltf7172rt4
[root@VM-16-16-centos ~]# docker network ls
NETWORK ID NAME DRIVER SCOPE
839c78d16e66 bridge bridge local
d35cd7f611a6 docker_gwbridge bridge local
7865e8dc7489 host host local
kxda014niohv ingress overlay swarm
e904b639a46d k3d-k3d-private bridge local
e6e4904ea322 none null local
20miz5lia741 test-net overlay swarm
# 第二臺物理機器
[root@VM-0-11-centos ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
a59a6f6dd333 centos@sha256:be65f488b7764ad3638f236b7b515b3678369a5124c47b8d32916d6487418ea4 "sleep infinity" 4 minutes ago Up 4 minutes test.1.braoj968z1jm5bc22e2k63he1
[root@VM-0-11-centos ~]# docker network ls
NETWORK ID NAME DRIVER SCOPE
d5d11ce155e2 bridge bridge local
f4c92d6c36ad docker_gwbridge bridge local
e6a370238ef2 host host local
828150052a2a mongodb_default bridge local
71347f42b9a6 none null local
20miz5lia741 test-net overlay swarm（3）查看網絡詳情并測試創建成功后，可以查看一下網絡詳情，執行docker network inspect test-net，輸出如下：
# 第一臺物理機
[
{
"Name": "test-net",
"Id": "20miz5lia7413mzkyhjokwu1h",
"Created": "2023-09-09T11:45:32.325811853+08:00",
"Scope": "swarm",
"Driver": "overlay",
"EnableIPv6": false,
"IPAM": {
"Driver": "default",
"Options": null,
"Config": [
{
"Subnet": "11.1.1.0/24",
"Gateway": "11.1.1.1"
},
{
"Subnet": "10.1.1.0/24",
"Gateway": "10.1.1.1"
}
]
},
"Internal": false,
"Attachable": false,
"Ingress": false,
"ConfigFrom": {
"Network": ""
},
"ConfigOnly": false,
"Containers": {
"32e4ada62916b7d1070ae3c01f4306959ca5d093d60956f827210ca875e932d9": {
"Name": "test.2.5j5bm8m0g96enm3ltf7172rt4",
"EndpointID": "3f8071a94d60c6efc5d3505e73c65abe5a282d291362ea3e3986d4b78505a41f",
"MacAddress": "02:42:0a:01:01:07",
"IPv4Address": "10.1.1.7/24",
"IPv6Address": ""
},
"lb-test-net": {
"Name": "test-net-endpoint",
"EndpointID": "0a20f5b5b756b8b50d319fa86fe870f5064fef22fc4583f2779f540718d22e4e",
"MacAddress": "02:42:0b:01:01:0e",
"IPv4Address": "11.1.1.14/24",
"IPv6Address": ""
}
},
"Options": {
"com.docker.network.driver.overlay.vxlanid_list": "4097,4098"
},
"Labels": {},
"Peers": [
{
"Name": "VM-0-11-centos-7305e151739f",
"IP": "172.27.0.11"
},
{
"Name": "2bced4fe04a3",
"IP": "172.27.16.16"
}
]
}
]
# 第二臺物理機
[
{
"Name": "test-net",
"Id": "20miz5lia7413mzkyhjokwu1h",
"Created": "2023-09-09T11:39:30.639389025+08:00",
"Scope": "swarm",
"Driver": "overlay",
"EnableIPv6": false,
"IPAM": {
"Driver": "default",
"Options": null,
"Config": [
{
"Subnet": "11.1.1.0/24",
"Gateway": "11.1.1.1"
},
{
"Subnet": "10.1.1.0/24",
"Gateway": "10.1.1.1"
}
]
},
"Internal": false,
"Attachable": false,
"Containers": {
"a59a6f6dd3330a618898548b147c901c1fb9c38d86ac2308e8a89de52bf60825": {
"Name": "test.1.braoj968z1jm5bc22e2k63he1",
"EndpointID": "b46b9f436dd04aa0effddf1a11b093589c9583a8f42086323dbc0d5bea28083e",
"MacAddress": "02:42:0b:01:01:0c",
"IPv4Address": "11.1.1.12/24",
"IPv6Address": ""
}
},
"Options": {
"com.docker.network.driver.overlay.vxlanid_list": "4097,4098"
},
"Labels": {},
"Peers": [
{
"Name": "VM-0-11-centos-7305e151739f",
"IP": "172.27.0.11"
},
{
"Name": "2bced4fe04a3",
"IP": "172.27.16.16"
}
]
}
]可以看到兩個網絡地址（Containers的值）分別是10.1.1.7和11.1.1.12，然后登陸到第一臺機器（10.1.1.7），執行ping 11.1.1.12 -c 1發現可以成功，那么繼續在第二臺（11.1.1.12）抓包看看輸出：
sh-4.2# tcpdump -i any
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on any, link-type LINUX_SLL (Linux cooked), capture size 262144 bytes
04:12:03.060571 IP test.2.5j5bm8m0g96enm3ltf7172rt4.test-net > a59a6f6dd333: ICMP echo request, id 10, seq 1, length 64
04:12:03.060600 IP a59a6f6dd333 > test.2.5j5bm8m0g96enm3ltf7172rt4.test-net: ICMP echo reply, id 10, seq 1, length 64
04:12:03.060966 IP localhost.48641 > 127.0.0.11.32849: UDP, length 39
04:12:03.061104 IP 127.0.0.11.domain > localhost.48641: 1204 1/0/0 PTR test.2.5j5bm8m0g96enm3ltf7172rt4.test-net. (115)
04:12:03.061219 IP localhost.60318 > 127.0.0.11.32849: UDP, length 41
04:12:03.061371 IP a59a6f6dd333.47196 > 183.60.82.98.domain: 32335+ PTR? 11.0.0.127.in-addr.arpa. (41)
04:12:03.061647 IP 183.60.82.98.domain > a59a6f6dd333.47196: 32335 NXDomain 0/1/0 (100)
04:12:03.061712 IP 127.0.0.11.domain > localhost.60318: 32335 NXDomain 0/1/0 (100)
04:12:03.062483 IP localhost.55382 > 127.0.0.11.32849: UDP, length 43
04:12:03.062616 IP a59a6f6dd333.60943 > 183.60.82.98.domain: 27860+ PTR? 98.82.60.183.in-addr.arpa. (43)
04:12:03.062783 IP 183.60.82.98.domain > a59a6f6dd333.60943: 27860 NXDomain 0/1/0 (107)
04:12:03.062830 IP 127.0.0.11.domain > localhost.55382: 27860 NXDomain 0/1/0 (107)
04:12:03.062996 IP localhost.35418 > 127.0.0.11.32849: UDP, length 41
04:12:03.063132 IP a59a6f6dd333.44914 > 183.60.82.98.domain: 62145+ PTR? 2.0.19.172.in-addr.arpa. (41)
04:12:03.063304 IP 183.60.82.98.domain > a59a6f6dd333.44914: 62145 NXDomain 0/1/0 (100)從上述的抓包可以看出test.2.5j5bm8m0g96enm3ltf7172rt4.test-ne往當前服務發送ICMP報文并成功響應。
（4）驗證VXLAN隧道傳輸數據為了第一節的原理：通過VXLAN隧道傳輸，于是抓包，先在10.1.1.12容器上啟動python -m SimpleHTTPServer，然后在10.1.1.7上發送curl命令curl '11.1.1.12:8000'，同時在10.1.1.12容器所在的主機2抓包udp端口4789，執行tcpdump -i any port 4789，輸出如下：
[root@VM-0-11-centos ~]# tcpdump -i any port 4789
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on any, link-type LINUX_SLL (Linux cooked), capture size 262144 bytes
12:33:43.574034 IP 172.27.16.16.43908 > VM-0-11-centos.4789: VXLAN, flags [I] (0x08), vni 4097
IP 10.1.1.7.34786 > 11.1.1.12.irdmi: Flags [S], seq 2425839577, win 28200, options [mss 1410,sackOK,TS val 2424960080 ecr 0,nop,wscale 7], length 0
12:33:43.574142 IP VM-0-11-centos.49343 > 172.27.16.16.4789: VXLAN, flags [I] (0x08), vni 4098
IP 11.1.1.12.irdmi > 10.1.1.7.34786: Flags [S.], seq 841191230, ack 2425839578, win 27960, options [mss 1410,sackOK,TS val 3343949171 ecr 2424960080,nop,wscale 7], length 0
12:33:43.575033 IP 172.27.16.16.43908 > VM-0-11-centos.4789: VXLAN, flags [I] (0x08), vni 4097
IP 10.1.1.7.34786 > 11.1.1.12.irdmi: Flags [.], ack 1, win 221, options [nop,nop,TS val 2424960081 ecr 3343949171], length 0
12:33:43.575064 IP 172.27.16.16.43908 > VM-0-11-centos.4789: VXLAN, flags [I] (0x08), vni 4097
IP 10.1.1.7.34786 > 11.1.1.12.irdmi: Flags [P.], seq 1:79, ack 1, win 221, options [nop,nop,TS val 2424960081 ecr 3343949171], length 78
12:33:43.575084 IP VM-0-11-centos.49199 > 172.27.16.16.4789: VXLAN, flags [I] (0x08), vni 4098
IP 11.1.1.12.irdmi > 10.1.1.7.34786: Flags [.], ack 79, win 219, options [nop,nop,TS val 3343949172 ecr 2424960081], length 0
12:33:43.575732 IP VM-0-11-centos.49199 > 172.27.16.16.4789: VXLAN, flags [I] (0x08), vni 4098
IP 11.1.1.12.irdmi > 10.1.1.7.34786: Flags [P.], seq 1:18, ack 79, win 219, options [nop,nop,TS val 3343949173 ecr 2424960081], length 17
12:33:43.575822 IP VM-0-11-centos.49199 > 172.27.16.16.4789: VXLAN, flags [I] (0x08), vni 4098
IP 11.1.1.12.irdmi > 10.1.1.7.34786: Flags [FP.], seq 18:956, ack 79, win 219, options [nop,nop,TS val 3343949173 ecr 2424960081], length 938
12:33:43.576483 IP 172.27.16.16.43908 > VM-0-11-centos.4789: VXLAN, flags [I] (0x08), vni 4097
IP 10.1.1.7.34786 > 11.1.1.12.irdmi: Flags [.], ack 18, win 221, options [nop,nop,TS val 2424960083 ecr 3343949173], length 0
12:33:43.576555 IP 172.27.16.16.43908 > VM-0-11-centos.4789: VXLAN, flags [I] (0x08), vni 4097
IP 10.1.1.7.34786 > 11.1.1.12.irdmi: Flags [.], ack 957, win 235, options [nop,nop,TS val 2424960083 ecr 3343949173], length 0
12:33:43.576629 IP 172.27.16.16.43908 > VM-0-11-centos.4789: VXLAN, flags [I] (0x08), vni 4097
IP 10.1.1.7.34786 > 11.1.1.12.irdmi: Flags [F.], seq 79, ack 957, win 235, options [nop,nop,TS val 2424960083 ecr 3343949173], length 0
12:33:43.576645 IP VM-0-11-centos.49343 > 172.27.16.16.4789: VXLAN, flags [I] (0x08), vni 4098
IP 11.1.1.12.irdmi > 10.1.1.7.34786: Flags [.], ack 80, win 219, options [nop,nop,TS val 3343949174 ecr 2424960083], length 0可以看出協議的確是從udp端口4789傳輸的，使用VXLAN。
第三部分：服務發現和Ingress
1、服務發現
Docker支持自定義配置DNS服務發現，執行docker run -it --name test1 --dns=8.8.8.8 --dns-search=dockercerts.com alpine sh，輸出：
[root@VM-16-16-centos ~]# docker run -it --name test1 --dns=8.8.8.8 --dns-search=dockercerts.com centos:7 sh
sh-4.2# cat /etc/resolv.conf
search dockercerts.com
nameserver 8.8.8.8可以看出配置dns，實際是修改/etc/resolv.conf配置。
2、Ingress
對于集群，Docker Swarm提供類似K8S的Ingress模式，在Swarm集群內的任何宿主機節點都可以訪問對應的容器服務，執行樣例docker service create --name test --replicas 2 -p 5000:80 nginx，可以分別在Swarm集群的主機中看到對應的端口5000，如下：
[root@VM-16-16-centos ~]# netstat -tunpl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 1042/sshd
tcp 0 0 0.0.0.0:37721 0.0.0.0:* LISTEN 2700/docker-proxy
tcp 0 0 0.0.0.0:8000 0.0.0.0:* LISTEN 1397687/docker-prox
tcp6 0 0 :::5000 :::* LISTEN 2380/dockerd其底層是通過Sevice Mesh四層路由網絡實現，原理和Docker本身端口映射類似，可以參考iptables -nvL端口查看，其中負載均衡的實現可以了解下圖。
圖片
參考
（1）https://zhuanlan.zhihu.com/p/558785823
（2）https://www.cnblogs.com/oscar2960/p/16536891.html
（3）https://www.jianshu.com/p/e3a87c76aab4?utm_campaign=maleskine&utm_cnotallow=note&utm_medium=seo_notes&utm_source=recommendation
