配置hadoop集群-启动集群
(1)如果集群是第一次启动,需要在hadoop100节点(指定为namenode的节点)格式化NameNode(注意:格式化NameNode,会产生新的集群id)
命令是:hd。具体如下:
[root@hadoop100 hadoop-3.1.3]$ hdfs namenode -format
(2)启动HDFS
[root@hadoop100 hadoop-3.1.3]$ sbin/start-dfs.sh
提醒:此时会报错不允许使用root用户来启动HDFS!
在环境变量中添加/etc/profile.d/my_env.sh
#添root加环境变量
#告诉 Hadoop 使用 root 用户来启动和管理相应的服务
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
同步给其他的机器,并使用source命令,让环境变量生效!
再来试一次。
(3)在配置了ResourceManager的节点(hadoop101)启动YARN
[root@hadoop101 hadoop-3.1.3]$ sbin/start-yarn.sh
(十)查看集群运行效果
(1)Web端查看HDFS的NameNode
(a)浏览器中输入:http://hadoop100:9870
(3)查看YARN上运行的Job信息