当前位置: 首页 > web >正文

配置hadoop集群-启动集群

1)如果集群是第一次启动,需要hadoop100节点指定为namenode的节点格式化NameNode(注意:格式化NameNode会产生新的集群id

命令是:hd。具体如下:

[root@hadoop100 hadoop-3.1.3]$ hdfs namenode -format

2启动HDFS

[root@hadoop100 hadoop-3.1.3]$ sbin/start-dfs.sh

提醒:此时会报错不允许使用root用户来启动HDFS!

在环境变量中添加/etc/profile.d/my_env.sh

#添root加环境变量

#告诉 Hadoop 使用 root 用户来启动和管理相应的服务

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

同步给其他的机器,并使用source命令,让环境变量生效!

再来试一次。

3)在配置了ResourceManager的节点(hadoop101)启动YARN

[root@hadoop101 hadoop-3.1.3]$ sbin/start-yarn.sh

)查看集群运行效果

1Web端查看HDFSNameNode

(a)浏览器中输入http://hadoop100:9870

3)查看YARN上运行的Job信息

 

 

http://www.xdnf.cn/news/5857.html

相关文章:

  • apache2的默认html修改
  • 【前端三剑客】Ajax技术实现前端开发
  • ETL 数据集成平台与数据仓库的关系及 ETL 工具推荐
  • 前端流行框架Vue3教程:15. 组件事件
  • kafka----初步安装与配置
  • PROFIBUS DP转ModbusTCP网关模块于污水处理系统的成功应用案例解读​
  • C++中的各式类型转换
  • 序列化和反序列化(hadoop)
  • RabbitMQ发布订阅模式深度解析与实践指南
  • 解决 CentOS 7 镜像源无法访问的问题
  • 爬虫请求频率应控制在多少合适?
  • cocos creator 3.8 下的 2D 改动
  • Kubernetes Horizontal Pod Autosscaler(HPA)核心机制解析
  • 【android bluetooth 框架分析 02】【Module详解 6】【StorageModule 模块介绍】
  • C#进阶(1) ArrayList
  • TDengine编译成功后的bin目录下的文件的作用
  • 【计算机组成原理】第二部分 存储器--分类、层次结构
  • Altium Designer AD如何输出PIN带网络名的PDF装配图
  • 智能意图识别 + 内容定位,contextgem重构文档处理逻辑
  • ExoPlayer 如何实现音画同步
  • 记录为什么LIst数组“增删慢“,LinkedList链表“查改快“?
  • 信息学奥赛一本通 1535:【例 1】数列操作
  • 新一代动态可重构处理器技术,用于加速嵌入式 AI 应用
  • WSL 安装 Debian 12 后,Linux 如何安装 vim ?
  • OpenVLA (2) 机器人环境和环境数据
  • 【UAP】《Empirical Upper Bound in Object Detection and More》
  • 【HTML5】【AJAX的几种封装方法详解】
  • 【deekseek】TCP Offload Engine
  • LeetCode 648 单词替换题解
  • Baklib智能云平台加速企业数据治理