博客
关于我
Logstash读取自定义日志以及解析处理_并把处理后数据上传至Elasticsearch---ElasticStack(ELK)工作笔记021
阅读量:790 次
发布时间:2023-02-06

本文共 466 字,大约阅读时间需要 1 分钟。

之前,我们通过Filebeat采集了Nginx的日志。然而,仅仅采集数据是不够的。通过Logstash,我们可以对采集的数据进行处理,并将处理后的数据存储到Elasticsearch中。

比如,我们有如上所示的日志数据需要采集。我们希望对数据进行处理,将其按照竖线(|)分割,并提取每个数据字段。

接下来,我们需要配置Logstash的配置文件。配置文件中可以看到,我们指定了要读取的日志文件路径为/itcast/logstash/logs/app.log,并将start_position设置为“beginning”,表示从文件开头开始读取。

在Logstash的filter部分,我们可以对读取的数据进行处理。这里,我们可以使用竖线(|)将数据字段分割,提取所需的信息。例如,可以将日志数据拆分成多个字段进行处理。

最后,我们将处理后的数据通过output插件输出到指定的管道(如stderrstdout)。通过这种方式,我们可以实现对Nginx日志的收集、处理和存储。

这样,我们就完成了从日志采集到处理再到存储的整个流程。

转载地址:http://bjufk.baihongyu.com/

你可能感兴趣的文章
Lombok天天用,它的原理是什么你知道吗?
查看>>
LomBok常用注解及详细介绍
查看>>
lombok插件jar包的下载和使用
查看>>
lombok注解 @Data使用在继承类上时出现警告解决
查看>>
lombok的@Data注解在继承类上时提示警告
查看>>
Lombok的使用及其原理
查看>>
Lombok的使用及注解含义
查看>>
lombok的注解
查看>>
Long Haul:极简风格的Jekyll博客主题
查看>>
long mode 分页_Mybatis 在dao中获取分页的总记录数
查看>>
Long.valueOf 将字符串、integer类型转换为long类型
查看>>
LongAdder原理
查看>>
longAdder源码解析
查看>>
Loop
查看>>
lora 微调3B模型微调前有5G 量化f16 后最后导出模型容量变小了只有2G了,为什么?
查看>>
LoRa关键参数(扩频因子,编码率,带宽)的设定及解释
查看>>
LoRA微调stable diffusion models:原理和实战
查看>>
LoRa术语
查看>>
LOSS损失函数值是什么意思?
查看>>
lounger自动化测试框架
查看>>