当前位置: 首页 > news >正文

logstash拉取redisStream的流数据,并存储ES

先说结论, window验证logstash截至2025-06-06 是没有原生支持的。

为啥考虑用redisStream呢?因为不想引入三方的kafka等组件, 让服务部署轻量化, 所以使用现有的redis来实现, 为啥不用list呢? 已经用stream的框架书写了相关的业务处理, 所以更改为list成本太高。

我们有一个服务单独读取redisStream的数据并且写入es。 现在我的日志体系也要接入这套体系中。为了保证后续支持kafka,MQ等消息组件, 我肯定期望是用现有框架,比如logstash来进行支持的。毕竟没啥复杂业务,支持从A的数据源转换为了B的数据源。
以下是试错:

首先服务器使用的jdk1.8 下载了1.8支持的logstash版本。logstash-6.8.23 解析报错。

再下载jdk1.8版本支持的最高版本,logstash-7.9.3报错。

最终下载官网最新版本logstash-9.0.2 还是报错。https://www.elastic.co/downloads/logstash

logstash-9.x版本
因为没有配置文件pipelines.yml 所以 .\bin\logstash.bat --version 并不能查看版本。
使用 .\bin\logstash.bat -e "input { stdin { } } output { stdout {} }" 验证服务是否正常启动。
安装redis的支持:
bin/logstash-plugin install logstash-input-redis (当前插件3.7.1)
执行报错:
This setting must be a ["list", "channel", "pattern_channel"]
data_type只支持list和channel。 没有stream的支持,

使用deepseek、豆包、文心一言等多种大数据检索,都告诉我支持stream. 结果我的本地项目愣是没有跑起来, 不确定是否是因为我用window跑的原因, 下次用linux跑以下试试,再来更新结论。 

http://www.xdnf.cn/news/899497.html

相关文章:

  • uni-app 项目支持 vue 3.0 详解及版本升级方案?
  • LangChain【8】之工具包深度解析:从基础使用到高级实践
  • Vue3 + UniApp 蓝牙连接与数据发送(稳定版)
  • FFmpeg 低延迟同屏方案
  • LeetCode 热题 100 74. 搜索二维矩阵
  • 计算机视觉与深度学习 | 基于MATLAB的图像特征提取与匹配算法总结
  • LinkedBlockingQueue、ConcurrentLinkedQueue和ArrayBlockingQueue深度解析
  • 在 Kali 上打造渗透测试专用的 VSCode 环境
  • MDP的 Commands模块
  • Git 切换到旧提交,同时保证当前修改不丢失
  • 如何写高效的Prompt?
  • pikachu靶场通关笔记18 SQL注入01-数字型注入(POST)
  • JS-- for...in和for...of
  • 在WPF项目中集成Python:Python.NET深度实战指南
  • 如何更改默认 Crontab 编辑器 ?
  • 紫光同创FPGA系列实现Aurora 8b/10b协议
  • 宝塔think PHP8 安装使用FFmpeg 视频上传
  • 第J3-1周:DenseNet算法 实现乳腺癌识别
  • 11.RV1126-ROCKX项目
  • 深入浅出多路归并:原理、实现与实战案例解析
  • 前端对WebSocket进行封装,并建立心跳监测
  • 【MATLAB去噪算法】基于ICEEMDAN联合小波阈值去噪算法
  • Linux(线程控制)
  • 佰力博科技与您探讨材料介电性能测试的影响因素
  • 机器学习与深度学习14-集成学习
  • 【Python 算法零基础 4.排序 ⑪ 十大排序算法总结】
  • 【数据结构】_排序
  • Ubuntu 系统静态网络配置
  • ansible和saltstack安装和简单操作
  • AWS API Gateway配置日志