hadoop3.x单机部署

 jdk

hadoop3.x需要jdk8以上的版本

hadoop3.x

从官网下载对应的tar.gz文件

配置环境变量

vim /etc/profile# 需要替换为自己的安装地址！！！
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbinsource /etc/profile

hadoop env 文件配置

vim /opt/hadoop-3.3.6/etc/hadoop/hadoop-env.sh# 需要更改为自己的安装地址
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
export HADOOP=/opt/hadoop-3.3.6# 用户也需要对应修改
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

设置服务器免密登陆

hostname  # 输出应为 hcss-ecs-a5de（根据你的实际主机名）
sudo vim /etc/hosts127.0.0.1   localhost hcss-ecs-a5de
your_server_ip hcss-ecs-a5deping hcss-ecs-a5de  # 应能正常解析ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 600 ~/.ssh/authorized_keys
chmod 700 ~/.sshssh localhost  # 应无需密码直接登录

如果没有进行免密配置，最终启动会报错：

root@hcss-ecs-a5de:/opt/hadoop-3.3.6/sbin# ./start-all.sh 
Starting namenodes on [bigdataflowing]
bigdataflowing: ssh: Could not resolve hostname bigdataflowing: Temporary failure in name resolution
Starting datanodes
localhost: root@localhost: Permission denied (publickey,password).
Starting secondary namenodes [hcss-ecs-a5de]
hcss-ecs-a5de: root@hcss-ecs-a5de: Permission denied (publickey,password).
Starting resourcemanager
Starting nodemanagers
localhost: root@localhost: Permission denied (publickey,password).

核心配置文件修改

注意：hcss-ecs-a5de 需要修改为你自己的服务器信息！！！

vim /opt/hadoop-3.3.6/etc/hadoop/core-site.xml# 在 configuration 标签中，添加如下内容：
<property><name>fs.defaultFS</name><value>hdfs://hcss-ecs-a5de:9090</value></property><!-- 指定 hadoop 数据的存储目录 --><property><name>hadoop.tmp.dir</name><value>/opt/hadoop3.3.6/hdfs/tmp</value></property><property><name>hadoop.proxyuser.root.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.root.groups</name><value>*</value></property># 修改 hdfs-site.xml，在 configuration 标签中，添加如下内容：
<property><name>dfs.replication</name>      <value>1</value></property>  <property><name>dfs.namenode.name.dir</name>  <value>/opt/hadoop3.3.6/hdfs/name</value>  <final>true</final></property>  <property><name>dfs.datanode.data.dir</name>  <value>/opt/hadoop3.3.6/hdfs/data</value>  <final>true</final></property>  <property><name>dfs.http.address</name><value>0.0.0.0:50070</value></property><property><name>dfs.permissions</name>  <value>false</value></property># 修改 mapre-site.xml，在 configuration 标签中，添加如下内容：
<property><name>mapreduce.framework.name</name><value>yarn</value></property># 修改 yarn-site.xml，在 configuration 标签中，添加如下内容：
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>

启动hadoop

hdfs namenode -format
cd /opt/hadoop-3.3.6/sbin/
./start-all.sh

正常不会有报错，同时使用 jps 命令查看，会有 Datanode，ResourceManager，SecondaryNameNode，NameNode，NodeManager 五个进程。

页面

http://1.94.234.103:50070/

http://1.94.234.103:8088/