Spark集群安装配置

Spark集群安装配置

1、下载解压spark，并配置环境变量。

export SPARK_HOME=/home/spark export PATH=$SPARK_HOME/bin:$PATH

执行source /etc/profile使配置生效。

2、进入spark/conf目录，执行：

cp spark-env.sh.template spark-env.sh vim spark-env.sh #添加如下配置，注意如下配置都要已经配置完成 export JAVA_HOME=/home/java8 export SCALA_HOME=/home/scala export SPARK_MASTER_IP=192.168.168.133 export SPARK_WORKER_MEMORY=1g export HADOOP_CONF_DIR=/home/hadoop-3.3.0/etc/hadoop

3、还是在该目录下，编辑slaves文件(由于spark占用较大，不用添加master)：

k8s-node1 k8s-node2

4、将spark拷贝到其他slave

scp -r /home/spark root@k8s-node1:/home scp -r /home/spark root@k8s-node2:/home

5、在slave节点配置环境变量，如步骤1。

6、启动spark集群。

进入spark/sbin目录下，执行./start-all.sh（只在master节点执行就好）。

7、验证

​ 方式1：使用jps查看,master节点发现Master则启动成功，slave节点出现Worker则启动成功。

​ 方式2：执行spark-shell，进入spark命令行则启动成功。 默认8080端口，但是一般8080一般被其他进程占用了，可能会8081等。