Docker安装Fluentd采集中间件

Fluentd

• 简介 ：Fluentd 是一个高性能、可扩展的数据收集与聚合工具，能够统一数据收集和消费，实现各种数据源到各种数据接收器的高效传输，广泛应用于日志收集等领域。

• 功能特点 ：

  • 统一日志收集 ：支持从各种数据源收集日志，如文件、网络、应用程序等，将不同来源的日志统一收集并传输到一个或多个目的地，便于集中管理和分析。

  • 插件丰富 ：拥有超过 500 个插件，可与多种工具集成，如与 Prometheus、Elasticsearch、Kafka 等主流工具的集成，方便用户根据需求扩展功能。

  • 高性能 ：采用多线程架构，能够高效地处理大量数据，适用于高并发场景。

  • 低延迟 ：优化了数据处理流程，可以快速地将数据从源头传输到目的地，降低了数据处理的延迟。

• 应用场景 ：

  • 日志收集与分析 ：将应用程序、服务器等产生的日志收集到一个中心位置，如 Elasticsearch，然后使用 Kibana 等工具进行可视化分析。例如，在微服务架构中，收集各个服务的日志，以便快速定位和解决问题。

  • 数据集成与转换 ：对收集到的数据进行清洗、转换和富化等操作，使其符合特定的数据模型或格式，方便后续的数据分析和处理。比如，将不同格式的日志数据转换为统一的 JSON 格式。

  • 事件驱动的架构 ：作为事件收集和分发的中间件，将事件从生产者传递给消费者，实现系统之间的解耦和协同工作。

Docker启动Fluentd

准备共享目录

useradd fluent
chown fluent: /data/fluentd/
chmod 777 /data/fluentd/ 

fluentd容器内默认使用fluent用户，在host上的共享目录权限不够，导致服务启动失败。

启动fluentd

docker run -d --name my-fluentd \
-u fluent -p 24224:24224 -p 24224:24224/udp \-v /data/fluentd:/fluentd/log fluent/fluentd

查看检查插件列表

docker exec -it my-fluentd /bin/bash -c 'gem list'

*** LOCAL GEMS ***

abbrev (default: 0.1.1)
async (1.32.1)
async-http (0.64.2)
async-io (1.43.2)
async-pool (0.10.3)
base64 (0.2.0, default: 0.1.1)
benchmark (default: 0.2.1)
bigdecimal (default: 3.1.3)

……