当前位置: 首页 > ai >正文

graylog收集rsyslog实现搜索解析

安装配置

基础

# 按照实际情况放行
systemctl stop firewalld
systemctl disable firewalldsed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
setenforce 0vim /etc/chrony.conf
server ${ntp_server} iburstsystemctl enable --now chronyd
chronyc sources -v

mongodb

vim /etc/yum.repos.d/mongodb-org.repo[mongodb-org-7.0]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/7.0/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-7.0.ascyum install -y mongodb-orgvim /etc/mongod.confnet:port: 27017bindIp:  127.0.0.1systemctl daemon-reload
systemctl enable mongod.service
systemctl start mongod.service
systemctl status mongod.service

daatanode

rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-6.2-repository_latest.rpm
yum install -y graylog-datanode# 修改、查看vm.max_map_count数值
echo 'vm.max_map_count=262144' | sudo tee -a /etc/sysctl.d/99-graylog-datanode.conf
sysctl --system
cat /proc/sys/vm/max_map_count# 生成、修改password_secret值
openssl rand -hex 32
a51ed4638b4030462009c2a32edfc9744fb2abfa25e7a48a9a4e7de67dfeb385
# 生成、修改root_password_sha2值
echo -n H3c#xinhuasan | sha256sum
a0f15f1709c04b0ad5c82ea964b85794954adad992d70dfc6bf7b88952ea3b08vim /etc/graylog/datanode/datanode.confpassword_secret = a51ed4638b4030462009c2a32edfc9744fb2abfa25e7a48a9a4e7de67dfeb385
root_password_sha2 = a0f15f1709c04b0ad5c82ea964b85794954adad992d70dfc6bf7b88952ea3b08
mongodb_uri = mongodb://localhost:27017/graylog
# 手动添加,值为内存的一半
opensearch_heap = 2gsystemctl daemon-reload
systemctl enable graylog-datanode.service
systemctl start graylog-datanode
systemctl status graylog-datanode

graylog-server

rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-6.2-repository_latest.rpm
yum install -y graylog-servervim /etc/graylog/server/server.confpassword_secret = a51ed4638b4030462009c2a32edfc9744fb2abfa25e7a48a9a4e7de67dfeb385
root_password_sha2 = a0f15f1709c04b0ad5c82ea964b85794954adad992d70dfc6bf7b88952ea3b08
# 取消注释
http_bind_address = 0.0.0.0:9000
# 按需调整
message_journal_max_age = 12h
message_journal_max_size = 2gbvim /etc/sysconfig/graylog-server
# 数值为运行时内存的一半,不超过16G
GRAYLOG_SERVER_JAVA_OPTS="-Xms1g -Xmx1g -server -XX:+UseG1GC -XX:-OmitStackTraceInFastThrow"systemctl daemon-reload
systemctl enable graylog-server.service
systemctl start graylog-server.service
systemctl status graylog-server.service

初始化与登录

tail /var/log/graylog-server/server.log 
========================================================================================================It seems you are starting Graylog for the first time. To set up a fresh install, a setup interface has
been started. You must log in to it to perform the initial configuration and continue.Initial configuration is accessible at 0.0.0.0:9000, with username 'admin' and password 'dVxEVqPGoK'.
Try clicking on http://admin:dVxEVqPGoK@0.0.0.0:9000========================================================================================================
# 按照提示分配CA后,输入用户admin密码H3c#xinhuasan登录

功能介绍

input

主页菜单 -> system -> inputs -> syslog UDP -> launch new input

在这里插入图片描述

Title:名称
port:rsyslog端口

在这里插入图片描述

在终端配置好rsyslog,show received messages,则跳转到search

在这里插入图片描述

search

语法参考Lucene,注意转义符

# 不区分大小写包含“xxx”
xxx# 包含“xxx”或“yyy”
xxx yyy# 完全符合“ABCDEF”
"ABCDEF"# 字段为“A-B-C.1”
source:A-B-C.1# 包含A-B-C.1或D-E-F.2
source:(A-B-C.1 OR D-E-F.2)# 包含abc
_exists_:abc# 包含A-B-C.1且D-E-F.2
source:A-B-C.1 AND "D-E-F.2"# level小于3,但排除message中包含“IBM”
(level:<=3) AND NOT message:"IBM"

Index Sets

索引集决定日志如何存储到datanode中,system -> indices

在这里插入图片描述

在create index set中,
Title:名称
Description:名称
Index prefix:比如:container-docker、server-IBM

在这里插入图片描述

streams

将日志实时路由到不同目录,system -> input -> show received messages,拷贝gl2_source_input的值

在streams标签页点击create stream,填写Title、Description、Index Set,勾选Remove matches from ‘All messages’ stream,再保存

在这里插入图片描述

manage rules -> Add stream rule

在这里插入图片描述

在这里插入图片描述

把之前复制的gl2_source_input的value作为stream的匹配规则

在这里插入图片描述

回到stream页面,点击start stream,再点击对应的stream,就可以查看路由到该stream的日志

extractors

解析日志:找到一条关注的日志,拷贝id、stored in index
inputs -> manage extractors,填写复制内容

在这里插入图片描述

选择regular expression进行解析

在这里插入图片描述

一个extractor只能解析一个字符串,按需添加。extractors可以配合其他功能使用。

http://www.xdnf.cn/news/12016.html

相关文章:

  • Linux驱动:register_chrdev_region、 alloc_chrdev_region
  • Kaggle-Predicting Optimal Fertilizers-(多分类+xgboost)
  • 灵活控制,modbus tcp转ethernetip的 多功能水处理方案
  • 第二章 2.4 数据共享与使用之数据共享方式
  • 在 CentOS 上安装 Docker 和 Docker Compose 并配置使用国内镜像源
  • 仓库自动化搬运:自动叉车与AGV选型要点及核心技术解析
  • javaweb -html -CSS
  • uniapp微信小程序视频实时流+pc端预览方案
  • uniapp+<script setup lang=“ts“>解决有数据与暂无数据切换显示,有数据加载时暂无数据闪现(先加载空数据)问题
  • QObject::connect: Cannot queue arguments of type ‘xxx‘
  • 4.2 HarmonyOS NEXT分布式AI应用实践:联邦学习、跨设备协作与个性化推荐实战
  • Flask-SQLAlchemy使用小结
  • 学习路之php--性能优化
  • Linux信号捕捉技术深度解析
  • html-pre标签
  • 解锁Java线程池:性能优化的关键
  • Spring Boot缓存组件Ehcache、Caffeine、Redis、Hazelcast
  • 在 Ubuntu 24.04 LTS 上安装 Jenkins 并配置全局工具(Git、JDK、Maven)
  • 余氯传感器在智慧水务系统中如何实现IoT集成
  • 数字证书_CA_详解
  • 超越传统:AAT Bioquest Calbryte探针的高信噪比与快速动力学特性解析
  • 实时数据仓库是什么?数据仓库设计怎么做?
  • 攻防世界-XCTF-Web安全最佳刷题路线
  • Hadolint:Dockerfile 语法检查与最佳实践验证的终极工具
  • JVM 类初始化和类加载 详解
  • 相机Camera日志分析之二十五:高通相机Camx 基于预览1帧的process_capture_request四级日志分析详解
  • STM32中自动生成Flash地址的方法
  • 昇腾+ds+dify部署
  • 基于SpringBoot和PostGIS的OSM时空路网数据入库实践
  • 服务器CPU被WMI Provider Host系统进程占用过高,导致系统偶尔卡顿的排查处理方案