没有合适的资源?快使用搜索试试~ 我知道了~
首页logstash使用总结
logstash使用总结
需积分: 50 35 下载量 146 浏览量
更新于2023-05-27
评论 1
收藏 189KB DOCX 举报
ELK中Logstash使用配置,文档主要描述如何使用logstash进行数据规则配置过滤。
资源详情
资源评论
资源推荐
Logstash 使用配置
运行:
#整个配置文件分为三部分:input,filter,output
输入
过滤匹配
输出
1、 input 配置
1.1 file{}(文件读取)
监听文件变化,记录一个叫.sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位
(也就是时间戳)
格式:
input {
#le 可以多次使用,也可以只写一个 le 而设置它的 path 属性配置多个文件实现多文
件监控
le {
path => ["/var/log/access.log", "/var/log/message"] #监听文件路径
type => "system_log" #定义事件类型
start_position => "beginning" #检查时间戳
}
}
参数说明:
exclude :排除掉不想被监听的文件
stat_interval :logstash 每隔多久检查一次被监听文件状态(是否有更新),默认是1
秒。
start_position :logstash 默认是从结束位置开始读取文件数据,也就是说logstash 进
程 会 以 类 似 tail -f 的 形 式 运 行 。 如 果 你 是 要 导 入 原 有 数 据 , 把 这 个 设 定 改 成
“beginning”,logstash 进程就按时间戳记录的地方开始读取,如果没有时间戳则从头开
始读取,有点类似 cat,但是读到最后一行不会终止,而是继续变成tail -f。
1.2 codec(定义编码类型)
优化建议:直接输入预定义好的数据,这样就可以省略掉配置,从而
减轻过滤器的 负载消耗;
配置文件示例:
!"#$%%&$
添加自定义字段
''%'"#$$"#$()*$
监听文件的路径
"#$+,-./0$
排除不想监听的文件
&'"#$/1$
监听文件的起始位置
%"#$$
增加标签
"#$/$
设置多长时间扫描目录,发现新文件
'.%."#/2
设置多长时间检测文件是否修改
%."#/
'"#
"#$3451/5$
%'"#
6$',-.517$8
"#$9:(+%;)<($
"#
="#$.$
从上到下,解释下配置参数的含义。
,读取文件。
,日志文件绝对路径(只支持文件的绝对路径)。
!,定义类型,以后的 、都会用到这个属性。
''%':添加字段,尽量不要与现有的字段重名。重名的话可能会有不同错误出现。
%:从什么位置开始读取文件,默认是结束位置。如果要导入原有数据,把这个
设定改为
'.%.:设置多长时间检查一个被监听的 下面是否有新文件。默认时间是
/2秒
&':不想监听的文件排除出去。
%.:设置多久时间检查一次被监听的文件(是否有更新),默认是 / 秒。
说明:
a、有时候 path 可能需要配置多个路径:
"#
6$+,-./0$>$+,-.50$8
b、add_eld 添加字段时,想判断要添加的字段是否存在,不存在时添加
if ![eld1]{
mutate{
add_eld => {"eld1" => "test1"}
}
}
codec 编码插件
logstash 实 际 上 是 一 个 input | codec | lter | codec | output 的 数 据 流 。
codec 是用来 decode 、encode 事件的。
Multiline 合并多行数据
Multiline 有三个设置比较重要:pattern 、negate 、what .
pattern : 必须设置,String 类型,没有默认值。匹配的是正则表达式。上面配
置中的含义是:通过 SECOND_TIME 字段与日志文件匹配,判断文件开始位置。
negate :boolean 类型,默认为 false . 如果没有匹配,否定正则表达式。
what :必须设置,可以设置为previous 或next . (ps: 还没弄清楚两者之间
的关系,目前我用的都是previous ) 。
根据上面的配置,还有两个设置:charset 、patterns_dir 。
,一般都知道是编码,这个就不多说了。
%':从配置中看到的是一个文件路径。
2、 filter 过滤器配置
2.1 data(时间处理)
用来转 换日志 记 录中 的 时 间字 符 串,变 成 ?,,; 对 象, 然 后 转存 到
@字段里。
注意:因为在稍后的中 '& 常用的:ABBBB<<''这种写法
必须读取@ 数据,所以一定不要直接删掉这个字段保留自己的时间字段,而是应该用
' 转 换 后 删 除 自 己 的 字 段 ! 至 于 中 '& 使 用 :
ABBBB<<''这种写法的原因后面会说明。
格式:
剩余11页未读,继续阅读
会飞的鱼Coo
- 粉丝: 4
- 资源: 16
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0