通過(guò) Docker-Compose 快速部署 Elasticsearch 和 Kibana 保姆級(jí)教程
一、概述
使用 Docker Compose 快速部署 Elasticsearch 和 Kibana 可以幫助您在本地或開發(fā)環(huán)境中輕松設(shè)置和管理這兩個(gè)重要的工具,用于存儲(chǔ)和可視化日志數(shù)據(jù)、監(jiān)控和搜索。以下是一個(gè)概述的步驟:
- 準(zhǔn)備 Docker 和 Docker Compose:確保您已經(jīng)安裝了 Docker 和 Docker Compose。您可以從 Docker 官方網(wǎng)站上獲取它們的安裝程序。
- 創(chuàng)建 Docker Compose 配置文件:創(chuàng)建一個(gè)名為 docker-compose.yml 的文件,它將定義 Elasticsearch 和 Kibana 的容器配置。這個(gè)文件應(yīng)該包括服務(wù)名稱、映像、環(huán)境變量、端口映射等信息。
- 配置 Elasticsearch:在 docker-compose.yml 文件中,配置 Elasticsearch 容器。您通常需要指定節(jié)點(diǎn)名稱、發(fā)現(xiàn)類型等設(shè)置。使用容器版本的 Elasticsearch 鏡像。
- 配置 Kibana:在 docker-compose.yml 文件中,配置 Kibana 容器。指定要監(jiān)聽的端口,并確保它依賴于 Elasticsearch 服務(wù)。
- 數(shù)據(jù)卷設(shè)置:在 docker-compose.yml 文件中,通常會(huì)使用數(shù)據(jù)卷來(lái)保存 Elasticsearch 數(shù)據(jù)。這確保了數(shù)據(jù)的持久性。
- 啟動(dòng)容器:在終端中,導(dǎo)航到包含 docker-compose.yml 文件的目錄,并運(yùn)行以下命令以啟動(dòng) Elasticsearch 和 Kibana。
docker-compose up -d
# -d 選項(xiàng)用于在后臺(tái)運(yùn)行容器。
- 等待服務(wù)啟動(dòng):容器啟動(dòng)后,等待一段時(shí)間以確保 Elasticsearch 和 Kibana 完全啟動(dòng)。
- 訪問(wèn) Kibana 控制臺(tái):打開您的瀏覽器,訪問(wèn) Kibana 控制臺(tái)的地址,默認(rèn)情況下是:http://localhost:5601。默認(rèn)情況下,Kibana 不需要用戶名和密碼。
- 開始使用:現(xiàn)在,您可以使用 Kibana 控制臺(tái)來(lái)管理和可視化 Elasticsearch 中的數(shù)據(jù),執(zhí)行查詢、創(chuàng)建儀表板等操作。
這些步驟將幫助您快速部署 Elasticsearch 和 Kibana,以便進(jìn)行日志分析、數(shù)據(jù)可視化和搜索等操作。請(qǐng)注意,您可以根據(jù)需要在 docker-compose.yml 文件中更改版本和配置選項(xiàng)。確保您的系統(tǒng)資源足夠以支持 Elasticsearch 和 Kibana 的運(yùn)行。
圖片
二、開始編排部署(Elasticsearch 和 Kibana)
Elasticsearch 是一個(gè)開源的分布式搜索和分析引擎,最初由 Elasticsearch N.V.(現(xiàn)在是 Elastic N.V.)開發(fā)并維護(hù)。它是基于 Apache Lucene 搜索引擎構(gòu)建的,專門設(shè)計(jì)用于處理和分析大規(guī)模的數(shù)據(jù),提供了強(qiáng)大的全文搜索、結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、分析和可視化功能。以下是 Elasticsearch 的主要特點(diǎn)和用途的概述:
- 分布式和實(shí)時(shí):Elasticsearch是一個(gè)分布式系統(tǒng),可以輕松地?cái)U(kuò)展到數(shù)百臺(tái)服務(wù)器,以處理大量數(shù)據(jù)。它提供了實(shí)時(shí)搜索和分析,可以在毫秒級(jí)別內(nèi)響應(yīng)查詢。
- 全文搜索:Elasticsearch 以其卓越的全文搜索能力而聞名,可以對(duì)大量文本數(shù)據(jù)進(jìn)行高效的搜索。它支持分詞、模糊查詢、通配符搜索、近似匹配等功能。
- 結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù):Elasticsearch 不僅支持全文搜索,還能夠存儲(chǔ)和索引結(jié)構(gòu)化數(shù)據(jù),如 JSON、XML 等。這使得它非常適用于存儲(chǔ)各種類型的數(shù)據(jù),從日志和事件數(shù)據(jù)到產(chǎn)品目錄和傳感器數(shù)據(jù)。
- 多種用途:Elasticsearch 可用于多種用途,包括搜索引擎、日志和事件數(shù)據(jù)分析、性能監(jiān)控、安全信息與事件管理 (SIEM)、文檔存儲(chǔ)、實(shí)時(shí)儀表板和可視化等。
- RESTful API:Elasticsearch 提供了一個(gè)易于使用的 RESTful API,使開發(fā)人員能夠通過(guò) HTTP 請(qǐng)求執(zhí)行各種操作,包括索引管理、搜索、分析和聚合。
- 分析和聚合:Elasticsearch 提供了豐富的分析和聚合功能,允許您從數(shù)據(jù)中提取有價(jià)值的見解。您可以執(zhí)行聚合操作,生成圖表和儀表板,以可視化數(shù)據(jù)。
- 插件生態(tài)系統(tǒng):Elasticsearch 具有豐富的插件生態(tài)系統(tǒng),可以通過(guò)插件擴(kuò)展其功能,包括監(jiān)控、安全、報(bào)告等。
- 安全性:Elasticsearch 提供了安全特性,包括身份驗(yàn)證、授權(quán)、傳輸層加密和字段級(jí)別的安全性,以保護(hù)數(shù)據(jù)免受未經(jīng)授權(quán)的訪問(wèn)。
- 強(qiáng)大的社區(qū)支持:Elasticsearch 擁有廣泛的社區(qū)支持,有大量的文檔、教程和第三方工具可用于幫助您學(xué)習(xí)和使用它。
- 商業(yè)支持:Elastic N.V. 提供了 Elasticsearch 的商業(yè)支持和托管服務(wù),以滿足企業(yè)級(jí)需求。
總之,Elasticsearch 是一個(gè)強(qiáng)大且多才多藝的搜索和分析引擎,適用于各種用途,從全文搜索到日志分析和可視化數(shù)據(jù)。它在各種行業(yè)中被廣泛使用,包括搜索引擎、電子商務(wù)、日志管理、安全信息與事件管理、科學(xué)研究和更多領(lǐng)域。
圖片
服務(wù)布局:
服務(wù)名稱/主機(jī)名 | 開放端口 | |
node-1 | 9200 | 1G |
node-2 | 9201 | 1G |
node-3 | 9202 | 1G |
kibana | 5601 | 不限 |
1)部署 docker
# 安裝yum-config-manager配置工具
yum -y install yum-utils
# 建議使用阿里云yum源:(推薦)
#yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安裝docker-ce版本
yum install -y docker-ce
# 啟動(dòng)并開機(jī)啟動(dòng)
systemctl enable --now docker
docker --version
2)部署 docker-compose
curl -SL https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
docker-compose --version
3)創(chuàng)建網(wǎng)絡(luò)
# 創(chuàng)建
docker network create bigdata
# 查看
docker network ls
4)創(chuàng)建掛載目錄
#創(chuàng)建 es 目錄
chmod 777 ./es/node-{1..3}/{config,data,log}
chmod 777 ./es/plugins
# 創(chuàng)建kibana的配置目錄
mkdir -p ./kibana/config
#目錄授權(quán)
chmod 777 ./es/node-{1..3}/{config,data,log}
chmod 777 ./es/plugins
chmod 777 ./kibana/config
5)修改 Linux 句柄數(shù)
#查看當(dāng)前最大句柄數(shù)
sysctl -a | grep vm.max_map_count
#修改句柄數(shù)
vi /etc/sysctl.conf
vm.max_map_count=262144
#臨時(shí)生效,修改后需要重啟才能生效,不想重啟可以設(shè)置臨時(shí)生效
sysctl -w vm.max_map_count=262144
6)修改句柄數(shù)和最大線程數(shù)
#修改后需要重新登錄生效
vi /etc/security/limits.conf
# 添加以下內(nèi)容
* soft nofile 65535
* hard nofile 65535
* soft nproc 4096
* hard nproc 4096
# 重啟服務(wù),-h 立刻重啟,默認(rèn)間隔一段時(shí)間才會(huì)開始重啟
reboot -h now
7)添加 IK 分詞器
GitHub 下載地址:https://github.com/medcl/elasticsearch-analysis-ik/releases
# 將下載的分詞器復(fù)制到ES安裝目錄的plugins目錄中并進(jìn)行解壓
mkdir ./es/plugins/ik && cd ./es/plugins/ik
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.17.5/elasticsearch-analysis-ik-7.17.5.zip
unzip elasticsearch-analysis-ik-7.17.5.zip
8)編寫配置文件
1、node-1
./es/node-1/config/elasticsearch.yml
#集群名稱
cluster.name: elastic
#當(dāng)前該節(jié)點(diǎn)的名稱
node.name: node-1
#是不是有資格競(jìng)選主節(jié)點(diǎn)
node.master: true
#是否存儲(chǔ)數(shù)據(jù)
node.data: true
#最大集群節(jié)點(diǎn)數(shù)
node.max_local_storage_nodes: 3
#給當(dāng)前節(jié)點(diǎn)自定義屬性(可以省略)
#node.attr.rack: r1
#數(shù)據(jù)存檔位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否開啟時(shí)鎖定內(nèi)存(默認(rèn)為是)
#bootstrap.memory_lock: true
#設(shè)置網(wǎng)關(guān)地址,我是被這個(gè)坑死了,這個(gè)地址我原先填寫了自己的實(shí)際物理IP地址,
#然后啟動(dòng)一直報(bào)無(wú)效的IP地址,無(wú)法注入9300端口,這里只需要填寫0.0.0.0
network.host: 0.0.0.0
#設(shè)置映射端口
http.port: 9200
#內(nèi)部節(jié)點(diǎn)之間溝通端口
transport.tcp.port: 9300
#集群發(fā)現(xiàn)默認(rèn)值為127.0.0.1:9300,如果要在其他主機(jī)上形成包含節(jié)點(diǎn)的群集,如果搭建集群則需要填寫
#es7.x 之后新增的配置,寫入候選主節(jié)點(diǎn)的設(shè)備地址,在開啟服務(wù)后可以被選為主節(jié)點(diǎn),也就是說(shuō)把所有的節(jié)點(diǎn)都寫上
discovery.seed_hosts: ["node-1","node-2","node-3"]
#當(dāng)你在搭建集群的時(shí)候,選出合格的節(jié)點(diǎn)集群,有些人說(shuō)的太官方了,
#其實(shí)就是,讓你選擇比較好的幾個(gè)節(jié)點(diǎn),在你節(jié)點(diǎn)啟動(dòng)時(shí),在這些節(jié)點(diǎn)中選一個(gè)做領(lǐng)導(dǎo)者,
#如果你不設(shè)置呢,elasticsearch就會(huì)自己選舉,這里我們把三個(gè)節(jié)點(diǎn)都寫上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#在群集完全重新啟動(dòng)后阻止初始恢復(fù),直到啟動(dòng)N個(gè)節(jié)點(diǎn)
#簡(jiǎn)單點(diǎn)說(shuō)在集群?jiǎn)?dòng)后,至少?gòu)?fù)活多少個(gè)節(jié)點(diǎn)以上,那么這個(gè)服務(wù)才可以被使用,否則不可以被使用,
gateway.recover_after_nodes: 2
#刪除索引是是否需要顯示其名稱,默認(rèn)為顯示
#action.destructive_requires_name: true
# 禁用安全配置,否則查詢的時(shí)候會(huì)提示警告
xpack.security.enabled: false
2、node-2
./es/node-2/config/elasticsearch.yml
#集群名稱
cluster.name: elastic
#當(dāng)前該節(jié)點(diǎn)的名稱
node.name: node-2
#是不是有資格競(jìng)選主節(jié)點(diǎn)
node.master: true
#是否存儲(chǔ)數(shù)據(jù)
node.data: true
#最大集群節(jié)點(diǎn)數(shù)
node.max_local_storage_nodes: 3
#給當(dāng)前節(jié)點(diǎn)自定義屬性(可以省略)
#node.attr.rack: r1
#數(shù)據(jù)存檔位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否開啟時(shí)鎖定內(nèi)存(默認(rèn)為是)
#bootstrap.memory_lock: true
#設(shè)置網(wǎng)關(guān)地址,我是被這個(gè)坑死了,這個(gè)地址我原先填寫了自己的實(shí)際物理IP地址,
#然后啟動(dòng)一直報(bào)無(wú)效的IP地址,無(wú)法注入9300端口,這里只需要填寫0.0.0.0
network.host: 0.0.0.0
#設(shè)置映射端口
http.port: 9200
#內(nèi)部節(jié)點(diǎn)之間溝通端口
transport.tcp.port: 9300
#集群發(fā)現(xiàn)默認(rèn)值為127.0.0.1:9300,如果要在其他主機(jī)上形成包含節(jié)點(diǎn)的群集,如果搭建集群則需要填寫
#es7.x 之后新增的配置,寫入候選主節(jié)點(diǎn)的設(shè)備地址,在開啟服務(wù)后可以被選為主節(jié)點(diǎn),也就是說(shuō)把所有的節(jié)點(diǎn)都寫上
discovery.seed_hosts: ["node-1","node-2","node-3"]
#當(dāng)你在搭建集群的時(shí)候,選出合格的節(jié)點(diǎn)集群,有些人說(shuō)的太官方了,
#其實(shí)就是,讓你選擇比較好的幾個(gè)節(jié)點(diǎn),在你節(jié)點(diǎn)啟動(dòng)時(shí),在這些節(jié)點(diǎn)中選一個(gè)做領(lǐng)導(dǎo)者,
#如果你不設(shè)置呢,elasticsearch就會(huì)自己選舉,這里我們把三個(gè)節(jié)點(diǎn)都寫上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#在群集完全重新啟動(dòng)后阻止初始恢復(fù),直到啟動(dòng)N個(gè)節(jié)點(diǎn)
#簡(jiǎn)單點(diǎn)說(shuō)在集群?jiǎn)?dòng)后,至少?gòu)?fù)活多少個(gè)節(jié)點(diǎn)以上,那么這個(gè)服務(wù)才可以被使用,否則不可以被使用,
gateway.recover_after_nodes: 2
#刪除索引是是否需要顯示其名稱,默認(rèn)為顯示
#action.destructive_requires_name: true
# 禁用安全配置,否則查詢的時(shí)候會(huì)提示警告
xpack.security.enabled: false
3、node-3
./es/node-3/config/elasticsearch.yml
#集群名稱
cluster.name: elastic
#當(dāng)前該節(jié)點(diǎn)的名稱
node.name: node-3
#是不是有資格競(jìng)選主節(jié)點(diǎn)
node.master: true
#是否存儲(chǔ)數(shù)據(jù)
node.data: true
#最大集群節(jié)點(diǎn)數(shù)
node.max_local_storage_nodes: 3
#給當(dāng)前節(jié)點(diǎn)自定義屬性(可以省略)
#node.attr.rack: r1
#數(shù)據(jù)存檔位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否開啟時(shí)鎖定內(nèi)存(默認(rèn)為是)
#bootstrap.memory_lock: true
#設(shè)置網(wǎng)關(guān)地址,我是被這個(gè)坑死了,這個(gè)地址我原先填寫了自己的實(shí)際物理IP地址,
#然后啟動(dòng)一直報(bào)無(wú)效的IP地址,無(wú)法注入9300端口,這里只需要填寫0.0.0.0
network.host: 0.0.0.0
#設(shè)置映射端口
http.port: 9200
#內(nèi)部節(jié)點(diǎn)之間溝通端口
transport.tcp.port: 9300
#集群發(fā)現(xiàn)默認(rèn)值為127.0.0.1:9300,如果要在其他主機(jī)上形成包含節(jié)點(diǎn)的群集,如果搭建集群則需要填寫
#es7.x 之后新增的配置,寫入候選主節(jié)點(diǎn)的設(shè)備地址,在開啟服務(wù)后可以被選為主節(jié)點(diǎn),也就是說(shuō)把所有的節(jié)點(diǎn)都寫上
discovery.seed_hosts: ["node-1","node-2","node-3"]
#當(dāng)你在搭建集群的時(shí)候,選出合格的節(jié)點(diǎn)集群,有些人說(shuō)的太官方了,
#其實(shí)就是,讓你選擇比較好的幾個(gè)節(jié)點(diǎn),在你節(jié)點(diǎn)啟動(dòng)時(shí),在這些節(jié)點(diǎn)中選一個(gè)做領(lǐng)導(dǎo)者,
#如果你不設(shè)置呢,elasticsearch就會(huì)自己選舉,這里我們把三個(gè)節(jié)點(diǎn)都寫上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#在群集完全重新啟動(dòng)后阻止初始恢復(fù),直到啟動(dòng)N個(gè)節(jié)點(diǎn)
#簡(jiǎn)單點(diǎn)說(shuō)在集群?jiǎn)?dòng)后,至少?gòu)?fù)活多少個(gè)節(jié)點(diǎn)以上,那么這個(gè)服務(wù)才可以被使用,否則不可以被使用,
gateway.recover_after_nodes: 2
#刪除索引是是否需要顯示其名稱,默認(rèn)為顯示
#action.destructive_requires_name: true
# 禁用安全配置,否則查詢的時(shí)候會(huì)提示警告
xpack.security.enabled: false
4、kibana
./kibana/config/kibana.yml
server.host: 0.0.0.0
# 監(jiān)聽端口
server.port: 5601
server.name: "kibana"
# kibana訪問(wèn)es服務(wù)器的URL,就可以有多個(gè),以逗號(hào)","隔開
elasticsearch.hosts: ["http://node-1:9200","http://node-2:9201","http://node-3:9202"]
monitoring.ui.container.elasticsearch.enabled: true
# kibana訪問(wèn)Elasticsearch的賬號(hào)與密碼(如果ElasticSearch設(shè)置了的話)
elasticsearch.username: "kibana"
elasticsearch.password: "12345"
# kibana日志文件存儲(chǔ)路徑
logging.dest: stdout
# 此值為true時(shí),禁止所有日志記錄輸出
logging.silent: false
# 此值為true時(shí),禁止除錯(cuò)誤消息之外的所有日志記錄輸出
logging.quiet: false
# 此值為true時(shí),記錄所有事件,包括系統(tǒng)使用信息和所有請(qǐng)求
logging.verbose: false
ops.interval: 5000
# kibana web語(yǔ)言
i18n.locale: "zh-CN"
9)構(gòu)建鏡像
這里就用別人已經(jīng)構(gòu)建好的好的鏡像,不再重復(fù)構(gòu)建鏡像了,如果不了解怎么構(gòu)建鏡像,可以私信我。
### ES
docker pull elasticsearch:7.17.5
# tag
docker tag docker.io/library/elasticsearch:7.17.5 registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5
# 登錄將鏡像推送到阿里云
docker push registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5
### kibana
docker pull docker.io/library/kibana:7.17.5
docker tag docker.io/library/kibana:7.17.5 registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5
docker push registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5
10)編排 docker-compose.yml
version: "3"
services:
node-1:
image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5
container_name: node-1
hostname: node-1
environment:
- "ES_JAVA_OPTS=-Xms1024m -Xmx1024m"
- "TZ=Asia/Shanghai"
ulimits:
memlock:
soft: -1
hard: -1
nofile:
soft: 65536
hard: 65536
ports:
- "9200:9200"
logging:
driver: "json-file"
options:
max-size: "50m"
volumes:
- ./es/node-1/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
- ./es/plugins:/usr/share/elasticsearch/plugins
- ./es/node-1/data:/usr/share/elasticsearch/data
- ./es/node-1/log:/usr/share/elasticsearch/log
networks:
- bigdata
healthcheck:
test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"]
interval: 10s
timeout: 10s
retries: 5
node-2:
image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5
container_name: node-2
hostname: node-2
environment:
- "ES_JAVA_OPTS=-Xms1024m -Xmx1024m"
- "TZ=Asia/Shanghai"
ulimits:
memlock:
soft: -1
hard: -1
nofile:
soft: 65536
hard: 65536
ports:
- "9201:9200"
logging:
driver: "json-file"
options:
max-size: "50m"
volumes:
- ./es/node-2/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
- ./es/plugins:/usr/share/elasticsearch/plugins
- ./es/node-2/data:/usr/share/elasticsearch/data
- ./es/node-2/log:/usr/share/elasticsearch/log
networks:
- bigdata
healthcheck:
test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"]
interval: 10s
timeout: 10s
retries: 5
node-3:
image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5
container_name: node-3
hostname: node-3
environment:
- "ES_JAVA_OPTS=-Xms1024m -Xmx1024m"
- "TZ=Asia/Shanghai"
ulimits:
memlock:
soft: -1
hard: -1
nofile:
soft: 65536
hard: 65536
ports:
- "9202:9200"
logging:
driver: "json-file"
options:
max-size: "50m"
volumes:
- ./es/node-3/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
- ./es/plugins:/usr/share/elasticsearch/plugins
- ./es/node-3/data:/usr/share/elasticsearch/data
- ./es/node-3/log:/usr/share/elasticsearch/log
networks:
- bigdata
healthcheck:
test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"]
interval: 10s
timeout: 10s
retries: 5
kibana:
container_name: kibana
hostname: kibana
image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5
environment:
TZ: 'Asia/Shanghai'
volumes:
- ./kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml
ports:
- 5601:5601
networks:
- bigdata
healthcheck:
test: ["CMD-SHELL", "curl -I http://localhost:5601 || exit 1"]
interval: 10s
timeout: 10s
retries: 5
# 連接外部網(wǎng)絡(luò)
networks:
bigdata:
external: true
開始執(zhí)行部署
docker-compose up -d
# 查看
docker-compose ps
11)測(cè)試驗(yàn)證
ES 訪問(wèn)地址:http://ip:9200
docker-compose ps
curl localhost:9200
curl localhost:9200/_cat/health
圖片
kibana:http://ip:5601/
圖片
git 地址:https://gitee.com/hadoop-bigdata/docker-compose-es-kibana.git