成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Docker搭建Spark集群，你學(xué)會了嗎？

作者：程序員千羽
開發(fā) 前端
原本是訪問http://10.8.46.35:8080 就可，但是我這里在配置鏡像的時候，多了8080，導(dǎo)致這里訪問不了。看日志可以知道，已經(jīng)走向8081。

docker搭建spark集群

有個小技巧：先配置好一個，在（宿主機(jī)上）復(fù)制scp -r拷貝Spark到其他Slaves。

1.安裝配置基礎(chǔ)Spark

【在test-cluster-hap-master-01虛擬主機(jī)上】

將已下載好的Spark壓縮包（spark-3.1.1-bin-hadoop-3.2.2-lbx-jszt.tgz）通過工具【XFtp】拷貝到虛擬主機(jī)的opt目錄下：

2.通過腳本掛起鏡像

cd   /opt/script/setup/spark

test-cluster-spk-master-01

#!/bin/bash 
#編寫作者：千羽的編程時光

cname="test-cluster-spk-master-01"

#port1="8080"
#port2="7077"
log="/opt/data/"${cname}
images="10.249.0.137:80/base/jdk-1.8:20210202"

mkdir -p ${log}
mkdir ${log}/logs
mkdir ${log}/work
mkdir ${log}/data
mkdir ${log}/jars

# docker run -d --net=overlay-net --ip ${ip} -p ${port1}:${port1} -p ${port2}:${port2} --name ${cname} --hostname ${cname} --privileged=true --restart=always 
docker run -d --net=host --name ${cname} --hostname ${cname} --privileged=true --restart=always \
-v ${log}/logs:/usr/local/spark-3.1.1/logs \
-v ${log}/work:/usr/local/spark-3.1.1/work \
-v ${log}/jars:/usr/local/spark-3.1.1/jars \
-v ${log}/data:/opt/data \
${images} \
/usr/sbin/init

test-cluster-spk-master-02

#!/bin/bash 
cname="test-cluster-spk-master-02"

#port1="8080"
#port2="7077"
log="/opt/data/"${cname}
images="10.249.0.137:80/base/jdk-1.8:20210202"

mkdir -p ${log}
mkdir ${log}/logs
mkdir ${log}/work
mkdir ${log}/data
mkdir ${log}/jars

#docker run -d --net=overlay-net --ip ${ip} -p ${port1}:${port1} -p ${port2}:${port2} --name ${cname} --hostname ${cname} --privileged=true --restart=always 
docker run -d --net=host --name ${cname} --hostname ${cname} --privileged=true --restart=always \
-v ${log}/logs:/usr/local/spark-3.1.1/logs \
-v ${log}/work:/usr/local/spark-3.1.1/work \
-v ${log}/jars:/usr/local/spark-3.1.1/jars \
-v ${log}/data:/opt/data \
${images} \
/usr/sbin/init

test-cluster-spk-slave-01

#!/bin/bash 
cname="test-cluster-spk-slave-01"

#port1="8080"
#port2="7077"
log="/opt/data/"${cname}
images="10.249.0.137:80/base/jdk-1.8:20210202"

mkdir -p ${log}
mkdir ${log}/logs
mkdir ${log}/work
mkdir ${log}/data
mkdir ${log}/jars

#docker run -d --net=overlay-net --ip ${ip} -p ${port1}:${port1} -p ${port2}:${port2} --name ${cname} --hostname ${cname} --privileged=true --restart=always 
docker run -d --net=host --name ${cname} --hostname ${cname} --privileged=true --restart=always \
-v ${log}/logs:/usr/local/spark-3.1.1/logs \
-v ${log}/work:/usr/local/spark-3.1.1/work \
-v ${log}/jars:/usr/local/spark-3.1.1/jars \
-v ${log}/data:/opt/data \
${images} \
/usr/sbin/init
[root@zookeeper-03-test spark]# ll
總用量 4
-rw-r--r--. 1 root root 1166 7月  28 17:44 install.sh
[root@zookeeper-03-test spark]# chmod +x install.sh 
[root@zookeeper-03-test spark]# ll
總用量 4
-rwxr-xr-x. 1 root root 1166 7月  28 17:44 install.sh
[root@zookeeper-03-test spark]#

3.上傳spark安裝包

在容器映射目錄下 ：/opt/data/test-cluster-spk-slave-01/data

[root@hadoop-01 data]# pwd
/opt/data

用Xftp上傳包

圖片

這里需要上傳兩個，使用的是spark-3.1.1-bin-without-hadoop.tgz

但是需要將spark-3.1.1-bin-hadoop-3.2.2-lbx-jszt下的jars包移到/usr/local/spark-3.1.1/jars下

4.解壓安裝包

mkdir -p /usr/local/spark-3.1.1
cd /opt/data
tar -zxvf spark-3.1.1-bin-without-hadoop.tgz -C /usr/local/spark-3.1.1

圖片

圖片

圖片

編輯全局變量

vim /etc/profile

增加以下全局變量

export SPARK_HOME=/usr/local/spark-3.1.1   
export PATH=$PATH:$SPARK_HOME/bin

即時生效

source /etc/profile

5.配置spark-env.sh

cd /usr/local/spark-3.1.1/conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh
export SPARK_MASTER_IP=test-cluster-spk-master-01
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=800m
#export SPARK_DRIVER_MEMORY=4g
export SPARK_EXECUTOR_INSTANCES=2
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_LOCAL_DIRS=/home/hadoop/tmp/spark/tmp

#定時清理worker文件 一天一次
export SPARK_WORKER_OPTS="  
-Dspark.worker.cleanup.enabled=true  
-Dspark.worker.cleanup.interval=86400 
-Dspark.worker.cleanup.appDataTtl=86400"

export JAVA_HOME=/usr/local/jdk1.8
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SCALA_HOME=/usr/local/scala
export PATH=${SCALA_HOME}/bin:$PATH
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=zookeeper-01-test:2181,zookeeper-02-test:2181,zookeeper-03-test:2181 -Dspark.deploy.zookeeper.dir=/usr/local/spark"

（4）配置workers

cp workers.template workers
vim workers
# 添加
test-cluster-spk-slave-001

圖片

6.配置log4j.properties

cp log4j.properties.template log4j.properties
vim log4j.properties

log4j.rootCategory=WARN, console

圖片

7.復(fù)制到其他slave

（宿主機(jī)上）復(fù)制scp -r拷貝Spark到其他Slaves節(jié)點：

scp -r /usr/local/spark/spark-2.1.0-bin-hadoop2.7 root@slave-001-spark-dev:/usr/local/spark/

scp -r /usr/local/spark/spark-2.1.0-bin-hadoop2.7 root@slave-002-spark-dev:/usr/local/spark/

scp -r /usr/local/spark/spark-2.1.0-bin-hadoop2.7 root@slave-003-spark-dev:/usr/local/spark/

如執(zhí)行命令出現(xiàn)出現(xiàn)問題時，請現(xiàn)在相應(yīng)的Slave節(jié)點執(zhí)行mkdir -p /usr/local/spark

復(fù)制到master-02時，使用start-mater.sh啟動master-02

8.啟動spark

  1. 先啟動兩個master，然后啟動slave節(jié)點
[root@test-cluster-spk-master-01 sbin]# ./start-master.sh 
starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark-3.1.1/logs/spark-root-org.apache.spark.deploy.master.Master-1-test-cluster-spk-master-01.out
[root@test-cluster-spk-master-01 sbin]# jps
548 Jps
492 Master
[root@test-cluster-spk-master-01 sbin]# pwd
/usr/local/spark-3.1.1/sbin
[root@test-cluster-spk-master-01 sbin]#
  1. 主節(jié)點2啟動完成
[root@test-cluster-spk-master-02 sbin]# ./start-master.sh 
starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark-3.1.1/logs/spark-root-org.apache.spark.deploy.master.Master-1-test-cluster-spk-master-02.out
[root@test-cluster-spk-master-02 sbin]# pwd
/usr/local/spark-3.1.1/sbin
[root@test-cluster-spk-master-02 sbin]# jps
274 Jps
218 Master
[root@test-cluster-spk-master-02 sbin]#
  1. 從節(jié)點啟動完成
/usr/local/spark-3.1.1/sbin/start-slave.sh test-cluster-hap-slave-001 test-cluster-hap-master-02:7077,test-cluster-hap-master-02:7077
  1. 主節(jié)點1啟動完成

9.驗證

原本是訪問http://10.8.46.35:8080 就可，但是我這里在配置鏡像的時候，多了8080，導(dǎo)致這里訪問不了。看日志可以知道，已經(jīng)走向8081

所以http://10.8.46.35:8081/即可

主節(jié)點1

停掉主節(jié)點

圖片

圖片

圖片

主節(jié)點2

從節(jié)點成為ALIVE

圖片

圖片

從節(jié)點1

從節(jié)點1

圖片

圖片

10.遇到的坑

包不兼容

這里遇到了許多問題，第一個是包不兼容，導(dǎo)致搭建兩次失敗

圖片

然后換了官方的包spark-3.1.1-bin-without-hadoop，啟動還是有問題。

最后通過替換jars才成功。（使用spark-3.1.1-bin-hadoop-3.2.2-lbx-jszt下的jars）

ctrl + p + q    從容器退出到宿主機(jī)

done~

責(zé)任編輯：武曉燕 來源： 千羽的編程時光
dockerspark集群
相關(guān)推薦

2024-11-29 08:53:46

2024-01-19 08:25:38

死鎖Java通信

2024-02-04 00:00:00

Effect數(shù)據(jù)組件

2023-07-26 13:11:21

ChatGPT平臺工具

2023-01-10 08:43:15

定義DDD架構(gòu)

2024-01-08 07:29:57

多集群模型Istio網(wǎng)絡(luò)拓?fù)?/a>

2023-05-24 08:14:55

2023-10-10 11:04:11

Rust難點內(nèi)存

2024-05-06 00:00:00

InnoDBView隔離

2024-07-31 08:39:45

Git命令暫存區(qū)

2023-01-30 09:01:54

圖表指南圖形化

2024-08-06 09:47:57

2022-07-08 09:27:48

CSSIFC模型

2023-12-12 08:02:10

2024-01-02 12:05:26

Java并發(fā)編程

2023-08-01 12:51:18

WebGPT機(jī)器學(xué)習(xí)模型

2025-03-04 09:26:37

2023-08-08 08:34:47

漏洞環(huán)境獲取方法

2022-09-08 11:44:17

EW匯編器連接定位器

2022-03-08 08:39:22

gRPC協(xié)議云原生
點贊
收藏

51CTO技術(shù)棧公眾號

主站蜘蛛池模板： 欧美成年人视频在线观看 | 日本成人毛片 | 99久久电影 | 亚洲一av | 91亚洲国产成人久久精品网站 | 综合网中文字幕 | 网黄在线 | 午夜一区二区三区视频 | 99re视频在线免费观看 | 欧美精品二区 | 亚洲精品日韩欧美 | 99免费在线视频 | 91精品国产一区二区三区 | 亚洲一区中文字幕在线观看 | 国产欧美在线一区二区 | 91亚洲精品在线观看 | 成年视频在线观看福利资源 | 亚洲欧美在线视频 | 久久亚洲国产精品 | 久久综合九九 | 国产xxx在线观看 | 日韩不卡在线观看 | 手机av在线 | 雨宫琴音一区二区在线 | 国内精品视频一区二区三区 | 天天干天天草 | 成人午夜高清 | 黄色欧美在线 | 亚洲国产精品成人综合久久久 | 亚洲福利网站 | 国产日韩免费视频 | 天天看逼 | 一级做受毛片免费大片 | 久久久久久亚洲精品 | 久久久久久久久蜜桃 | 国产精品日韩在线观看一区二区 | 成人在线看片 | 欧美精品一区免费 | 日韩一区欧美一区 | 91精品久久久久 | 在线黄色影院 |