博客
关于我
Logstash读取自定义日志以及解析处理_并把处理后数据上传至Elasticsearch---ElasticStack(ELK)工作笔记021
阅读量:790 次
发布时间:2023-02-06

本文共 466 字,大约阅读时间需要 1 分钟。

之前,我们通过Filebeat采集了Nginx的日志。然而,仅仅采集数据是不够的。通过Logstash,我们可以对采集的数据进行处理,并将处理后的数据存储到Elasticsearch中。

比如,我们有如上所示的日志数据需要采集。我们希望对数据进行处理,将其按照竖线(|)分割,并提取每个数据字段。

接下来,我们需要配置Logstash的配置文件。配置文件中可以看到,我们指定了要读取的日志文件路径为/itcast/logstash/logs/app.log,并将start_position设置为“beginning”,表示从文件开头开始读取。

在Logstash的filter部分,我们可以对读取的数据进行处理。这里,我们可以使用竖线(|)将数据字段分割,提取所需的信息。例如,可以将日志数据拆分成多个字段进行处理。

最后,我们将处理后的数据通过output插件输出到指定的管道(如stderrstdout)。通过这种方式,我们可以实现对Nginx日志的收集、处理和存储。

这样,我们就完成了从日志采集到处理再到存储的整个流程。

转载地址:http://bjufk.baihongyu.com/

你可能感兴趣的文章
Log4j使用配置总结
查看>>
log4j分离日志输出 自定义过滤 自定义日志文件
查看>>
Log4j日志级别
查看>>
Log4j日志级别 转
查看>>
log4j日志输出格式
查看>>
log4j日志输出格式一览
查看>>
log4j框架搭建
查看>>
Log4j漏洞?一行代码都不改就能永久修复?
查看>>
Log4J的配置
查看>>
log4j的配置说明
查看>>
log4j补充
查看>>
log4j记录日志
查看>>
Log4j输出到控制台成功,写入文件失败 - Log4j和commons log的整合
查看>>
Log4j配置详解和实例
查看>>
Log4Net组件的应用详解
查看>>
log4net配置,正在用
查看>>
Logback configuration error detected:D:\log\exchange-platform\info.2021-07-27.log (系统找不到指定的路径。)
查看>>
Logback 配置文件例
查看>>
logback-spring.xml配置
查看>>
logback.xml 配置详解(1)
查看>>