当前位置：首页 > ai >正文

大数据Spark（六十）：Spark On Yarn 配置

ai 2025/8/2 2:04:44

文章目录

Spark On Yarn 配置

一、配置

1、将Spark安装包解压放在node5节点

2、配置spark-env.sh

二、提交任务测试

Spark On Yarn 配置

Spark 也可以基于Yarn进行任务调度，这就是所谓的Spark on Yarn。Spark基于Yarn进行任务调度只需要在Spark客户端配置相应Hadoop配置文件地址即可。

一、配置

这里选择node5节点作为Spark On Yarn的客户端，Spark On Yarn配置如下：

1、将Spark安装包解压放在node5节点

[root@node5 ~]# cd /software/
[root@node5 software]# tar -zxvf ./spark-3.5.5-bin-hadoop3-scala2.13.tgz
[root@node5 software]# mv ./spark-3.5.5-bin-hadoop3-scala2.13 spark-3.5.5

2、配置spark-env.sh

进入$SPARK_HOME/conf，配置spark-env.sh，在该文件中配置HADOOP_CONF_DIR或者YARN_CONF_DIR指定Hadoop相关配置文件路径，两者只需要配置一个即可，配置哪个都可以。spark-env.sh配置如下内容：

[root@node5 ~]# cd /software/spark-3.5.5/conf/
[root@node5 conf]# mv spark-env.sh.template spark-env.sh
#配置HADOOP_CONF_DIR或者YARN_CONF_DIR都可以，两者选其一
[root@node5 conf]# vim spark-env.sh
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

注意：配置Spark On Yarn时，需要在每台NodeManager节点中将每台NodeManager的虚拟内存关闭，在每台NodeManager节点的$HADOOP_HOME/etc/hadoop/yarn-site.xml中加入如下配置：

<property><!-- 关闭虚拟内存检查 --><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>

二、提交任务测试

启动HDFS集群、启动Yarn集群，然后在node5节点上提交Spark Pi任务测试Spark任务是否正常在Yarn上执行。

#启动zookeeper集群
[root@node3 ~]# zkServer.sh start
[root@node4 ~]# zkServer.sh start
[root@node5 ~]# zkServer.sh start#启动hadoop集群
[root@node1 ~]# start-all.sh #在node5节点提交Spark Pi任务
[root@node5 ~]# cd /software/spark-3.5.5/bin/
[root@node5 bin]# ./spark-submit --master yarn --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.13-3.5.5.jar 100

以上提交任务命令执行后，可以看到有对应100个task执行，最后输出pi的大致结果。