当前位置: 首页 > ds >正文

在运行 Hadoop 作业时,遇到“No such file or directory”,如何在windows里打包在虚拟机里运行

        最近在学习Hadoop集群map reduce分布运算过程中,经多方面排查可能是电脑本身配置的原因导致每次运行都会报“No such file or directory”的错误,最后我是通过打包文件到虚拟机里运行得到结果,具体步骤如下:

        前提是要保证maven已经配置好了

下面就是如何打包文件的具体步骤:

  1. 在 Eclipse 中右键点击要打包的文件包,选择 “导出(Export)”

 

2.选择导出类型:在弹出的窗口中,选择 “JAR 文件(JAR file)”,点击 “下一步(Next)”

3. 在“JAR 导出” 界面,确认勾选 “导出生成的类文件和资源(Export generated class files and resources)”,设置 “JAR 文件(JAR file)” 路径(如 E:\test_maven.jar),点击 “完成(Finish)”,生成 JAR 包。

4.使用工具(如 Xftp)将生成的 JAR 包上传到集群节点(如 node01 的 /home/hadoop 目录)。

5.在集群终端(如 node01)输入命令:

hadoop jar <JAR 包路径> <主类全限定名>

例如:hadoop jar test_maven.jar com.test.hadoop.mr.log.model.WordCountJob,集群会运行 JAR 包中的 MapReduce 作业,输出相关统计信息(如日志中的计数器数据、Map/Reduce 阶段的记录数等)。

可以得到运行结果:

 

http://www.xdnf.cn/news/3663.html

相关文章:

  • 赎金信(简单)
  • 单一职责原则(SRP)
  • 安妮推广导航系统开心版多款主题网址推广赚钱软件推广变现一键统计免授权源码Annie
  • 写了个脚本将pdf转markdown
  • C/C++工程师使用 DeepSeek
  • [面试]SoC验证工程师面试常见问题(三)
  • 2505C++,wmi客户端示例
  • MySQL:联合查询
  • Linux-07-Shell
  • 大模型在终末期肾脏病风险预测与临床方案制定中的应用研究
  • 如何封装一个线程安全、可复用的 HBase 查询模板
  • Encoder-free无编码器多模态大模型EVEv2模型架构、训练方法浅尝
  • Windows 使用set和setx设置环境变量(skywalk3)
  • 2.LED灯的控制和按键检测
  • 【MySQL】事务管理
  • 区块链+IoT:创新场景落地背后的技术攻坚战
  • Python镜像源配置:
  • 数据结构-线性结构(链表、栈、队列)实现
  • MATLAB图像加密案例
  • 状压 DP 详解
  • 揭开并发编程的面纱:从零开始构建 Java 阻塞队列
  • 【AI提示词】系统分析员
  • Redis怎么避免热点数据问题
  • 软件第三方测试:关键部分、意义、流程及方法全解析?
  • 轻量级在线Excel预览工具
  • PyTorch、Flash-Attn、Transformers与Triton技术全景解析+环境包
  • 第 13 届蓝桥杯 C++ 青少组省赛中 / 高级组 2022 年真题
  • Python全流程开发实战:基于IMAP协议安全下载个人Gmail邮箱内所有PDF附件
  • SQL语句练习 自学SQL网 在查询中使用表达式 统计
  • 组件通信-mitt