当前位置：首页 > web >正文

日志ELK、ELFK、EFK

web 2025/9/3 16:18:42

一.ELK架构

Elasticsearch + Logstash + Kibana
数据库+日志处理+日志显示

1.logstash的使用

（1）input：输入

（2）filter：处理

（3）output：输出

2.ELFK架构

Filebeat-->Elasticsearch-->Logstash-->Kibana

Filebeat 部署在节点上轻量采集日志，Logstash 集中处理。

ELK 的弊端：

NFS数据共享会成为流量瓶颈，不适合大规模集群
是否可以在每台 Web 服务器上安装 Logstash
- Logstash占用资源多，在节点部署会争抢应用的资源

ELFK 优势：

Filebeat占用资源非常小，可以在所有节点部署
在每台Web服务器上安装客户端，通过网络发送日志，没有单点故障，没有流量瓶颈

filebeat的配置文件

test可以设置为业务名

filebeat直接区分不同服务的日志

示例filebeat:

filebeat.inputs:- type: filestreamid: oss-logspaths:- /var/oss/*.logfields:log_source: "oss"fields_under_root: true- type: filestreamid: dps-logspaths:- /var/dps/*.logfields:log_source: "dps"fields_under_root: trueoutput.logstash: # 输出到 Logstashhosts: ["your-logstash-host:5044"] # 替换为 Logstash 地址

示例logstash:

# 例如在 /etc/logstash/conf.d/ 下创建 log_processing.conf
input {beats {port => 5044}
}filter {# 此处可添加任意过滤解析规则，如Grok解析消息体:cite[10]# 所有日志都会经过这里
}output {# 根据 log_source 字段值判断输出到哪个索引if [log_source] == "oss" {elasticsearch {hosts => ["http://your-es-host:9200"] #Elasticsearchindex => "oss-logs-%{+YYYY.MM.dd}" # 定义OSS索引格式}} else if [log_source] == "dps" {elasticsearch {hosts => ["http://your-es-host:9200"]index => "dps-logs-%{+YYYY.MM.dd}" # 定义DPS索引格式}}# 可选： stdout { codec => rubydebug } # 调试时可在终端输出结果
}