当前位置: 首页 > web >正文

【Flume 】Windows安装步骤、配置环境

🛠 Flume 是什么?

Apache Flume 是一个高效、可靠、可扩展的数据收集系统,通常用于收集日志、流数据,比如收集数据到 HDFS、Kafka 等。

虽然 Flume 本身是为 Linux 服务器设计的,但 在 Windows 本地也是能跑起来的(需要一点小技巧)。


📥 1. 下载 Flume 安装包

官网地址

👉 https://flume.apache.org/download.html

但是官网只提供源代码,需要自己编译(超麻烦)。

所以通常推荐直接下载已经编译好的二进制版本:

推荐直接下稳定版 1.9.0 二进制包

✅ 下载链接(已经编译好的):

https://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz


📦 2. 解压 Flume 包

比如你放到:

D:\flume\apache-flume-1.9.0-bin

🛠 3. 配置环境变量(很重要)

  1. 新增环境变量 FLUME_HOME

    D:\flume\apache-flume-1.9.0-bin
    
  2. 在系统 Path 中添加:

    %FLUME_HOME%\bin
    

✅ 配置好后,在 cmd 命令行执行:

flume-ng version

如果正常输出版本号,比如:

Flume 1.9.0

就说明安装成功!


⚙ 4. Flume 运行还需要 Java 和 Hadoop(可选)

  • Flume 依赖 Java 8(必须有 JAVA_HOME)
  • 有些 sink(比如写入 HDFS)需要 Hadoop,但一般收集到 Kafka、文件就不用。

确保:

java -version

能跑通!


🚀 5. Windows 下启动 Flume 示例

比如启动一个最简单的 Flume agent:

flume-ng agent --conf conf --conf-file conf/flume-conf.properties.template --name a1 -Dflume.root.logger=INFO,console

conf/flume-conf.properties.template 是默认的配置模板文件,你可以自己复制一份修改!


📢 注意事项

项目注意事项
Windows路径注意 Flume 配置文件中,路径分隔符要用 \\
Hadoop如果用 HDFS Sink,需要 Hadoop client,但 Kafka Sink不用
服务端口Windows有时会占用端口,记得检查

✨ 总结一波

步骤内容
1下载 Flume 二进制包
2解压并配置环境变量
3验证 flume-ng 命令
4启动 Flume agent 测试

在这里插入图片描述

http://www.xdnf.cn/news/2200.html

相关文章:

  • Llama factory如何全参数微调 Qwen2.5-7B-Instruct 模型并导入Ollama推理(详细版)
  • 大一下第一次考核题解
  • Linux文件目录操作实战
  • 【C++】15. 模板进阶
  • 【含文档+PPT+源码】基于Python的美食数据的设计与实现
  • llama factory 命令行推理流程
  • MUC基本知识
  • 电子电器架构 --- 乘用车电气/电子架构开发的关键挑战与应对策略
  • Shell编程之正则表达式
  • c++弹窗
  • threejs 零基础学习day01
  • 【补题】Codeforces Global Round 20 F1. Array Shuffling
  • Python循环中断:break和continue,循环else语法,综合案例
  • 一、人类社会结构的根本逻辑
  • Cribl 上传lookup 表,传入数据进event
  • 计算机网络的五层结构(物理层、数据链路层、网络层、传输层、应用层)到底是什么?
  • 揭开人工智能的神秘面纱:从概念到人工神经网络
  • Spring和Spring Boot集成MyBatis的完整对比示例,包含从项目创建到测试的全流程代码
  • 数据库系统概论(四)关系操作,关系完整性与关系代数
  • springboot集成MyBatis Generator快速开发
  • Pygame跨平台打包:将游戏发布到Windows、Mac和Linux
  • 当JIT遇见K8s
  • 如何下载VSCode插件市场为VSIX文件
  • 在Mybatis中为什么要同时指定扫描mapper接口和 mapper.xml 文件,理论单独扫描 xml 文件就可以啊
  • Maven进阶知识
  • 【TypeScript】速通篇
  • 打破云墙:多云环境中的DevOps实践指南
  • 5.3/Q1,GBD数据库最新文章解读
  • 【Java面试笔记:进阶】22.AtomicInteger底层实现原理是什么?如何在自己的产品代码中应用CAS操作?
  • QQMusic项目功能总结