当前位置：首页 > ds >正文

大数据原生集群 (Hadoop3.X为核心) 本地测试环境搭建三

ds 2025/8/29 16:02:34

本篇安装软件版本

azkaban 3.72.0

azkaban

前面的2.x集群文档装了2.5的azkaban，不过随着版本的更新，3.x的azkaban和2.x的内部变换还是有明细差别的，所以这里记录一下搭建方法，且是从源码编译开始

第一步：从官网的连接跳转，去git上拉取需要的版本，https://azkaban.github.io/
在这里插入图片描述
第二步：上传到你的编译环境后开始调整源码中的拉取地址以及对应服务，因为咱这是国内懂得都懂

首先编译环境最基础的git、maven要有，3.72我本地用的maven3.9.9，解压源码包后会得到azkaban-3.72.0，后续操作都在此路径下

随后更新你的gcc环境

yum install -y gcc-c++*

之后在源码主路径下，找到build.gradle文件，更改其中如下内容，把依赖的镜像改成国内的

buildscript {
repositories {maven{ url 'https://linkedin.jfrog.io/artifactory/open-source/'}}
....其他任何内容都别动
....如果编译中遇到compileClasspat 这种报错重试不行就换阿里源 http://maven.aliyun.com/nexus/content/groups/public
}

之后去下载一个nodejs，https://nodejs.org/dist/，下载的版本看源码主路径下的azkaban-web-server/build.gradle文件，注意！！不是主路径下了，下载的同时把该文件中的download改成false
在这里插入图片描述
至于你下载的node，放在你服务器的一个自定义路径下，配置环境变量，别下载错版本和所属系统就行

export NODE_HOME=/opt/node-v8.10.0
export PATH=$PATH:$NODE_HOME/bin
"/etc/profile" 99L, 2607C written
[root@node1 node-v8.10.0]# source /etc/profile
[root@node1 node-v8.10.0]# node -v
v8.10.0
[root@node1 node-v8.10.0]# npm -v
5.6.0

之后对于azkaban来讲，需要设置两个软件连接，到系统的bin下面

[root@node1 bin]# ln -s /opt/node-v8.10.0/lib/node_modules/npm/bin/npm-cli.js /usr/bin/npm
[root@node1 bin]# ln -s /opt/node-v8.10.0/bin/node /usr/bin/node

然后回到源码主路径，查看./gradle/wrapper/gradle-wrapper.properties文件，看里面的gradle，需要那个版本
在这里插入图片描述
随后在同网址中下载一份，但是现在不要做啥变动，如果你用的和我是一个版本可以去阿里镜像中下载https://mirrors.aliyun.com/github/releases/gradle/gradle-distributions/v4.6.0/，先下载一份，是为了预防编译时，这个插件下载不下来的话，在操作下面的内容

也就是将下载到的gradle.zip包，解压到一个自定义路径下，随后配置环境变量，它的HOME和PATH指定到bin

# GRADLE_USER_HOME
export GRADLE_USER_HOME=解压路径
export PATH=$PATH:$GRADLE_USER_HOME/bin

然后修改./gradle/wrapper/gradle-wrapper.properties文件，改下面两个东西

distributionUrl=你下载到的包名
zipStoreBase=GRADLE_USER_HOME

这样再次执行编译时，会把该插件包的最终路径爆出来，然后把zip包放到对应路径下就行

[root@node1 azkaban-3.72.0]# ./gradlew build installDist -x test
Downloading file:/opt/wy/azkaban-3.72.0/gradle/wrapper/gradle-4.6-all.zipException in thread "main" java.io.FileNotFoundException: /opt/wy/azkaban-3.72.0/gradle/wrapper/gradle-4.6-all.zip (No such file or directory)

第三步：现在开始编译，在源码主路径下执行自带的编译脚本