U+平台配置免密登录、安装Hadoop配置集群、Spark配置

具体详细报告见资源部分，全部实验内容已经上传，如有需要请自行下载。

1、免密登录

使用的配置命令：

cd ~/.ssh/

ssh-keygen -t rsa

Enter键回车

y

回车

回车

出现如上所示

cat ./id_rsa.pub >> ./authorized_keys

ssh hadoop01

exit

scp /root/.ssh/id_rsa.pub root@hadoop02:/root/.ssh/id_rsa.pub

然后输入hadoop02的密码，去复制就行

scp /root/.ssh/id_rsa.pub root@hadoop03:/root/.ssh/id_rsa.pub

然后输入hadoop03的密码，去复制就行

显示图示这样的，重启就行了。

全部重启一下，从开头输入一下命令，验证：ssh hadoop02

ssh hadoop03

不需要密码，则已经成功，退出：exit

2、安装hadoop

java -version

显示如下：

nano ~/.bashrc

在文本的最后加入：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin

然后保存退出：Ctrl+X，然后输入Y，回车即可

让配置生效：

source ~/.bashrc

验证JAVA_HOME 配置是否成功：

echo $JAVA_HOME

如上所示JAVA_HOME 已经配置成功

cd /usr/local

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz

解压：tar -xzvf hadoop-3.3.5.tar.gz

重命名：mv hadoop-3.3.5 /usr/local/hadoop

修改文件权限：chown -R root:root ./hadoop

ls -1 hadoop/

配置 Hadoop 环境变量：

nano ~/.bashrc

在最下面加入：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存退出：Ctrl+X,Y,回车

source ~/.bashrc

检查Hadoop命令是否可用：

cd /usr/local/hadoop

./bin/hadoop version

配置集群/分布式环境：

修改文件profile：

cd /usr/local/hadoop/etc/hadoop

nano /etc/profile

加入如下内容：

# Hadoop Service Users
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

source /etc/profile

修改文件workers:

nano workers

hadoop01
hadoop02
hadoop03

保存退出：Ctrl+X,Y,回车

修改文件core-site.xml:

nano core-site.xml

添加如下配置：

<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop01:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property>
</configuration>

修改文件hdfs-site.xml:

nano hdfs-site.xml

添加如下内容：

<configuration><property><name>dfs.namenode.secondary.http-address</name><value>hadoop03:50090</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>
</configuration>

修改文件mapred-site.xml:

nano mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop01:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop01:19888</value></property><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value></property>
</configuration>

保存退出：Ctrl+X,Y,回车

修改文件 yarn-site.xml：

nano yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>

保存退出：Ctrl+X,Y,回车

修改文件hadoop-env.sh：

nano hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

保存退出：Ctrl+X,Y,回车

复制hadoop01节点的Hadoop文件夹，分发:

cd /usr/local

tar -zcf ~/hadoop.master.tar.gz ./hadoop

cd ~

scp ./hadoop.master.tar.gz hadoop02:/root

scp ./hadoop.master.tar.gz hadoop03:/root

在02中：

tar -zxf ~/hadoop.master.tar.gz -C /usr/local

chown -R root /usr/local/hadoop

在hadoop03中：

tar -zxf ~/hadoop.master.tar.gz -C /usr/local

chown -R root /usr/local/hadoop

在hadoop01中：

cd /usr/local/hadoop

./bin/hdfs namenode -format

启动hadoop：

cd /usr/local/hadoop

./sbin/start-dfs.sh

./sbin/start-yarn.sh

./sbin/mr-jobhistory-daemon.sh start historyserver

jps

在hadoop02:jps

在hadoop03:jps

回hadoop01:

./bin/hdfs dfsadmin -report

stop-yarn.sh

stop-dfs.sh

mr-jobhistory-daemon.sh stop historyserver

成功结束Hadoop相关配置。

3、Spark配置

将spark解压到/usr/local中：

tar -zxf /root/spark-3.4.2-bin-without-hadoop.tgz -C /usr/local

cd /usr/local

mv ./spark-3.4.2-bin-without-hadoop ./spark

chown -R root ./spark

（2）配置相关文件:

修改spark-env.sh文件:

cd /usr/local/spark

cp ./conf/spark-env.sh.template ./conf/spark-env.sh

nano ./conf/spark-env.sh

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

Ctrl+X,Y,回车

发现不对，往回找，然后一个里面内容不对，修改.bashrc文件：

nano ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/binexport PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport SPARK_HOME=/usr/local/spark
export JRE_HOME=${JAVA_HOME}jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:${JAVA_HOME}/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin
export PYSPARK_PYTHON=/root/anaconda3/bin/python

Ctrl+X,Y,回车

source ~/.bashrc

(3)设置日志信息:

cd /usr/local/spark/conf

sudo mv log4j2.properties.template log4j.properties

vim log4j.properties

按i进入编辑模式

将里面的rootLogger.level改成=error

先ESC退出编辑模式，然后保存并退出：在命令模式下输入 :wq，然后按 Enter。

验证Spark是否安装成功:

cd /usr/local/spark

./bin/run-example SparkPi

使用Anaconda修改Python版本:

conda create -n pyspark python=3.8

y

切换python环境：

conda activate pyspark

启动pyspark:

cd /usr/local/spark

./bin/pyspark

安装 Spark（Spark on YARN模式）:

cd /usr/local/spark

./bin/pyspark --master yarn

成功结束！