结合官方文档,进行配置说明注释,不记得可以来此看看,因为最近在别的领域突破就很少来写博文了....emmm那就直接上干货
FileBeat主要用于监控文件目录,进行各项操作输出结合ELK使用的组件,例如,文件型日志收集,格式化等..
基本使用的就是这些配置:[ps:这里以 log类型日志 为主说明,其他还是需要参照文档]
# Ps : 使用时 去掉 "#" # 输入源 这里仅说明log日志类型配置 其实还有 tcp udp等等日志类型 filebeat.inputs: - type: log enabled: true # 日志路径下面可以多个 注意 "-"符号 paths: - /xxxxxxxx/logs/*/*.log # 字符编码 一般不设置默认即可 有特殊则设置 #encoding: plain fields: "@metadata": # 录入es的日志索引 target_index: "test-v3-xxxx" parse_json: 1 # 收集开头行包括这些正则字符串的 include_lines: ['^ERR', '^WARN'] # 其实这里和fb里面模块配置的日志字段有关比如module.d下面对应不同类型日志有不同字段,注意字段重复则会覆盖 fields_under_root: true # 文件检查频率,10秒刚好 scan_frequency: 10s # 文件采集时字符缓冲大小 harvester_buffer_size: 262144 # 一次最大日志事件字节数,超过则不处理,默认为10M max_bytes: 10485760 backoff: 1s max_backoff: 10s # 是否忽略文件修改，设置为0[默认],不会忽略任何文件,其它如2h,2m 这时间之内 ignore_older: 0 # 输出 这里可以是es 或者 logstash 或者kafka 或者redis 使用的时候再查询下文档 下面列出es和logstash 主要配置 output.elasticsearch: hosts: ["localhost:9200"] output.logstash: hosts: ["203.195.129.21:15044"]
