当前位置: 首页 > ai >正文

轻松上手 qData 数据中台开源版:Docker Compose 助你10分钟跑起来

说在前面

谁适合看这份指南?

  • 初次接触 qData,希望快速体验功能的小伙伴
  • 不想折腾复杂环境配置和前端打包的人
  • 想用“一键启动”省事体验完整平台的用户

我们已经为你准备好“开箱即用”的完整部署包,包括:

  • 前端静态资源(打包好的 dist 文件夹)
  • DolphinScheduler 调度器(无需额外安装)
  • Hadoop 全家桶(HDFS + YARN)
  • Flink 1.12 与 Spark 3.3.0(已解压)
  • 预设 .env 环境变量文件
  • 完整目录结构与镜像包(无需手动下载)

不需要手动安装一堆依赖、不用构建前端、不用复杂配置。只需解压并运行脚本,整个大数据平台和 qData 就能跑起来!
零基础也能轻松搞定!10分钟体验 qData!


第 1 步:安装 Docker 和 Docker Compose

qData 通过 Docker 容器运行,必须先安装 Docker 和 Docker Compose

  • 推荐版本:
    • Docker:≥ 19.03
    • Docker Compose:≥ 1.28

🖥️ Windows / macOS

直接下载安装 Docker Desktop。
安装完成后,Docker Compose 已自动包含,无需额外安装。

🐧 Linux(Ubuntu 18.04+)

部署包中已附带离线安装包和安装脚本,可直接运行:

# 进入 Docker 安装包目录
cd ~/qData/docker-install# 安装 Docker 组件
sudo dpkg -i containerd.io_1.6.9-1_amd64.deb docker-ce_24.0.7-1~ubuntu.20.04~focal_amd64.deb docker-ce-cli_24.0.7-1~ubuntu.20.04~focal_amd64.deb docker-compose-plugin_2.6.0~ubuntu-focal_amd64.deb# 将当前用户加入 docker 用户组(免 sudo 可选)
sudo usermod -aG docker $USER
newgrp docker# 验证安装
sudo docker -v
# 输出示例:Docker version 24.0.7, build afdd5

安装 Docker Compose:

# 赋予执行权限并移动到系统路径
sudo chmod +x docker-compose
sudo mv docker-compose /usr/local/bin/docker-compose# 验证安装
sudo docker-compose -v
# 输出示例:Docker Compose version v2.20.2

第 2 步:部署包下载地址

🔗 百度网盘:https://pan.baidu.com/s/1QI0rWL8i9G-qYJFHTh19zA

🔑 提取码:提取码进QQ群 814145903(群一)、236734346(群二)

下载后请解压部署包:如~/qData


第 3 步:导入 qData 镜像

解压部署包后进入 images 文件夹,执行以下命令加载镜像并检查是否导入成功:

cd ~/qData(部署包根目录)/images# 导入大数据相关镜像
sudo docker load -i bigdata-images.tar# 导入 qData 主镜像(x.x.x 为版本号)
sudo docker load -i qdata-x.x.x.tar# 查看本地镜像列表,确认镜像已导入
sudo docker images

预期输出中应能看到类似:

REPOSITORY                             TAG                       IMAGE ID       CREATED         SIZE
qiantong/qdata-quality                 1.0.5                     0e3b87492cd8   4 hours ago     734MB
qiantong/qdata                         1.0.5                     59cf25909087   4 hours ago     760MB
apache/dolphinscheduler-tools          latest                    19eddd1bef1d   4 days ago      402MB
apache/dolphinscheduler-worker         latest                    fa746d141ae2   4 days ago      618MB
apache/dolphinscheduler-master         latest                    1f2294402261   5 days ago      573MB
apache/dolphinscheduler-alert-server   latest                    a8f4934125fb   5 days ago      423MB
apache/dolphinscheduler-api            latest                    c3f6757463c7   5 days ago      621MB
eclipse-temurin                        8-jdk                     139cd3f3ddf9   4 weeks ago     274MB
dm8                                    dm8_20250506_x86_rh7_64   54dae26a70ed   8 weeks ago     1.99GB
redis                                  6-alpine                  b7f611844a19   8 weeks ago     30.2MB
rabbitmq                               3.12-management           c48161165ad4   11 months ago   247MB
mongo                                  4.4                       d896c071ac69   18 months ago   427MB
bitnami/zookeeper                      3.7.1                     3ab0e8f032ab   23 months ago   510MB
apache/hadoop                          3.3.6                     3d418cee563e   2 years ago     1.66GB
bitnami/postgresql                     15.2.0                    52e3f8496daf   2 years ago     273MB
nginx                                  1.24.0                    6c0218f16876   2 years ago     142MB
bitnami/spark                          3                         15018b527afc   3 years ago     2.54GB

如果未看到镜像,请检查 .tar 文件路径和文件是否正确。


第 4 步:启动 qData

部署包内部有一个 docker.zip 压缩包,先解压。
解压完成进入到 ~/qData/docker 路径下(里面会有很多 .yml 文件)。

4.1 初始化数据库(首次运行必做)

sudo docker-compose --profile schema up -d

⚠️ 注意:entrypoint.sh文件权限问题
首次执行命令 sudo docker-compose --profile schema up -d 如果报错权限、Win换行符问题。可依次执行以下命令:

# 给脚本加权限并修复换行
cd ~/qData(部署包解压位置)
sudo chmod -R 755 docker
sudo chown -R $USER:$USER ./dockersed -i 's/\r$//' ./database/dm8/entrypoint.sh# 验证权限
ls -l ./database/dm8/entrypoint.sh
# 应为:-rwxr-xr-x# 再次运行
sudo docker-compose --profile schema up -d

4.2 启动 qData 和所有依赖

sudo docker-compose --profile all up -d

⚠️ 注意:端口占用问题
运行 sudo docker-compose --profile all up -d 时如果提示端口被占用:

  • 根据报错提示,关闭服务器上占用对应端口的进程;
  • 或者修改部署包中的 *.yaml 配置,将除 80 端口外的其他端口映射注释或删除(不影响容器内部运行)。

4.3 其他常用命令

查看所有服务运行状态:

sudo docker-compose --profile all ps

暂停 qData 所有服务(数据不丢):

sudo docker-compose --profile all stop

重启所有服务:

sudo docker-compose --profile all restart

完全关闭并删除数据(恢复默认环境):

sudo docker-compose --profile all down
sudo docker-compose --profile schema down

⚠️ down 会清空数据,如果想保留数据,只用 stop 即可。


部署完成!🎉

部署完成后可通过以下地址访问:

  • 🌐 qData 数据中台
    http://<服务器IP>:80
    账号:admin
    密码:qData123

  • 📅 调度器 DolphinScheduler
    http://<服务器IP>:12345/dolphinscheduler/ui/home
    账号:admin
    密码:dolphinscheduler123

  • Spark 后台
    http://<服务器IP>:8080/

🔑 <服务器IP> 替换成你的服务器公网或内网 IP。

💡 小技巧

  • 建议首次启动后稍等 1-2 分钟,让所有容器初始化完毕。
  • 可以通过 docker ps 查看容器状态。
  • 如果访问不了,检查服务器防火墙是否开放 80 端口。
http://www.xdnf.cn/news/19938.html

相关文章:

  • matlab薄透镜对物体成像
  • 数据库小册(1)
  • Day35 网络协议与数据封装
  • 开讲了,全栈经验之谈系列:写给进阶中的小伙伴
  • 短剧小程序系统开发:构建影视生态新格局
  • 学习PaddlePaddle--环境配置-PyCharm + Conda​
  • 基于vue的志愿者信息平台设计c38qk(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。
  • 结合prompt源码分析NodeRAG的build过程
  • 皮尔逊相关(Pearson)和斯皮尔曼相关(Spearman)显著性检验
  • Coze源码分析-资源库-删除提示词-后端源码
  • 正运动控制卡学习-点动
  • 景区负氧离子气象站:引领绿色旅游,畅吸清新每一刻
  • Vue3 中后台管理系统权限管理实现
  • Spring MVC 扩展机制对比总结:@Configuration + WebMvcConfigurer vs @ControllerAdvice
  • Spring Boot 启动卡死:循环依赖与Bean初始化的深度分析
  • 【问题记录】Anaconda的jupyter NoteBook点击launch的时候,弹出的页面提示ERR_FILE_NOT_FOUND
  • 【Linux我做主】细说进程等待
  • 20.35 ChatGLM3-6B QLoRA实战:4bit量化+低秩适配,显存直降70%!
  • 重温经典之游戏模拟器选型指南
  • java注解、Lambda表达式、Servlet
  • Web安全:你所不知道的HTTP Referer注入攻击
  • 【PZ-AU15P】璞致fpga开发板 Aritx UltraScalePlus PZ-AU15P 核心板与开发板用户手册
  • 新客户 | TDengine 时序数据库赋能开源鸿蒙物联展区实时监控与展示
  • 解决 ES 模块与 CommonJS 模块互操作性的关键开关esModuleInterop
  • AI+ 行动意见解读:音视频直播SDK如何加速行业智能化
  • Excel ——INDEX + MATCH 组合
  • [iOS] 折叠 cell
  • Fiddler 实战案例解析,开发者如何用抓包工具快速解决问题
  • 鸿蒙分布式数据同步失败全解
  • jenkins使用ansible单节点lnmp