当前位置: 首页 > ai >正文

基于ubuntu安装hadoop

前言

        提起大数据,就会觉得很厉害,将众多的数据整合在一起,在有条理的呈现在屏幕前的我们。有时候可能会想到底是什么在支撑着大数据,大数据的出现,方便了我们日常生活中的方方面面。那这些海量的数据计算机是怎么存储和分析的呢,那就要引出一个大数据底层支撑平台——hadoop。hadoop具有处理海量数据,支撑多种数据格式,以及快速响应等功能,为数据的挖掘提供工具。

1、安装环境

由于资源有限,使用VMware创建虚拟机,搭建虚拟环境。ubuntu 22.04版本,hadoop3.4.0版本,Jdk8u451版本(jdk版本和hadoop版本一定相互兼容,不然很容易出问题)

hadoop和jdk的版本对照表(源自网上):

Hadoop 版本范围支持的 Java 版本
Hadoop 3.3.xJava 8 和 Java 11(仅运行时支持,编译需使用 Java 8)
Hadoop 3.0.x - 3.2.xJava 8
Hadoop 2.7.x - 2.10.xJava 7 和 Java 8
Hadoop 2.6.x及以下Java 6
Hadoop 1.xJava 6

2、安装Jdk8

2.1 本机在官网下载linux(x64位)的jdk8,然后通过ssh连接的软件(xshell或者mobaxterm),放入虚拟机ubuntu下的/opt目录,并解压至/usr/local下。jdk的官网地址:https://www.oracle.com/java/technologies/downloads/

cd /opt
mkdir /usr/local/java
tar -zxvf jdk-8u451-linux-x64.tar.gz -C /usr/local/java
cd /usr/local/java

2.2 解压后,将Java加到环境变量当中,并生效

vim /etc/profile  #在最末尾加上java的环境变量
#java
JAVA_HOME=/usr/local/java/jdk1.8.0_451  #java的绝对路径
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOMEsource /etc/profile

2.3 查看Java版本

java -version

3、安装hadoop

3.1 下载和解压hadoop

wget https://downloads.apache.org/hadoop/common/hadoop-3.4.0/hadoop-3.4.0.tar.gz
tar -zxf hadoop-3.4.0.tar.gz -C /usr/local  #将hadoop的解压文件放在/usr/local下
cd /usr/local
mv ./hadoop-3.4.0 ./hadoop

3.2 设置hadoop环境变量

vi /etc/profile
#文件内容:
export HADOOP_HOME=/usr/local/hadoop   #指向hadoop的绝对路径
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbintail -2 /etc/profile
source /etc/profile
hadoop version

3.2 修改hadoop权限,改成普通用户。当前我的系统有一个普通用户sa

chown -R 自己选择一个用户名 ./hadoop

4、验证hadoop

4.1 安装完成后,Hadoop默认模式为非分布式模式, 即单java进程。运行一个grep例子,在hadoop目录下,创建输入文件夹input,并在其中添加测试文件,运行如下命令。

mkdir input
echo "dfsabc dfsefg dfsxyz dfs123" > input/file1.txt
echo "dfsabc dfsxyz dfs456" > input/file2.txt
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop- mapreduce-examples-3.4.0.jar grep input output 'dfs[a-z.]+'   #在hadoop目录下执行程序

http://www.xdnf.cn/news/9704.html

相关文章:

  • .NET8入门:14.ASP.NET Core MVC进阶——Model
  • 前端高频面试题1:HTML/CSS/浏览器/计算机网络
  • 安装 Node.js 和配置 cnpm 镜像源
  • Java异常处理的全面指南
  • 基于通义千问的儿童陪伴学习和成长的智能应用架构。
  • Spring AI 之对话记忆(Chat Memory)
  • [网页五子棋][匹配模块]处理开始匹配/停止匹配请求(匹配算法,匹配器的实现)
  • python h5py 读取mat文件的<HDF5 object reference> 问题
  • StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践
  • 【大模型】Bert变种
  • Kubernetes资源申请沾满但是实际的资源占用并不多,是怎么回事?
  • 微深节能 码头装卸船机定位与控制系统 格雷母线
  • WPF 按钮悬停动画效果实现
  • 【五模型时间序列预测对比】Transformer-LSTM、Transformer、CNN-LSTM、LSTM、CNN
  • 《AI大模型的开源与性能优化:DeepSeek R1的启示》
  • 互斥锁、自旋锁、读写锁、悲观锁、乐观锁的应用场景
  • 深入理解C#中的LINQ:数据查询的终极利器
  • 2013-2021年各省电子商务数据
  • 认识多系统萎缩:一种隐匿进展的神经退行性问题
  • spring IOC控制反转
  • 【春秋云镜】CVE-2022-26965 靶场writeup
  • 第一章 项目总览
  • 线性代数入门:轻松理解二阶与三阶行列式的定义与理解
  • Java消息队列与安全实战:谢飞机的烧饼摊故事
  • AI编程报错 API流式传输失败解决方案
  • 如何做好一个决策:基于 Excel的决策树+敏感性分析应用
  • 在ROS2(humble)+Gazebo+rqt下,实时显示仿真无人机的相机图像
  • WPF的UI交互基石:数据绑定基础
  • UDP编程
  • 设计模式之原型模式