Spark集群搭建-Standalone

以下是Spark Standalone集群搭建的关键步骤（基于Linux系统）：
 
一、环境准备
 
1. 安装Java
 
- 确保所有节点安装JDK 8+，配置 JAVA_HOME 环境变量。
 
2. 关闭防火墙
bash
systemctl stop firewalld && systemctl disable firewalld
 
 
3. 配置SSH免密登录
 
- 主节点生成密钥并分发到所有从节点：
bash
ssh-keygen -t rsa # 按提示完成，不设密码  
ssh-copy-id slave1 # 替换为从节点主机名/IP  
 
 
二、下载与解压Spark
 
1. 下载Spark包
 
- 官网下载对应版本（如 spark-3.5.0-bin-hadoop3 ），上传至主节点。
 
2. 解压并配置
bash
tar -zxvf spark-3.5.0-bin-hadoop3.tgz -C /opt  
cd /opt/spark-3.5.0-bin-hadoop3/conf  
cp spark-env.sh.template spark-env.sh  
 
 
 
- 编辑 spark-env.sh ，添加：
bash
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk # 替换为实际路径  
export SPARK_MASTER_IP=master_hostname # 主节点主机名/IP  
export SPARK_WORKER_MEMORY=2g # 从节点内存（按需调整）  
 
 
三、配置集群节点
 
1. 修改 slaves 文件
bash
cp slaves.template slaves  
echo "slave1" >> slaves # 添加从节点主机名/IP，每行一个  
echo "slave2" >> slaves  
 
 
2. 分发Spark到从节点
bash
scp -r /opt/spark-3.5.0-bin-hadoop3 slave1:/opt  
scp -r /opt/spark-3.5.0-bin-hadoop3 slave2:/opt  
 
 
四、启动集群
 
1. 启动主节点
bash
cd /opt/spark-3.5.0-bin-hadoop3  
sbin/start-master.sh  
 
 
2. 启动从节点
bash
sbin/start-slaves.sh  
 
 
3. 验证状态
 
- 主节点Web界面： http://master_ip:8080 ，查看从节点是否在线。
 
五、常用操作
 
- 停止集群：
bash
sbin/stop-slaves.sh && sbin/stop-master.sh  
 
 
- 提交任务：
bash
bin/spark-submit \  
  --class org.apache.spark.examples.SparkPi \  
  --master spark://master_ip:7077 \  
  ./examples/jars/spark-examples_*.jar 10