elk+filebeat notes

前言

在网上找到资料是基于6.2.4的版本,所以我也就用6.2.4的版本试一试,反正我的目的只是做一个了解,然后会用就可以了

下载

官网链接 : https://www.elastic.co/cn/downloads/ 以elasticsearch为例找到历史版本: 下载完下图中的几个文件并解压就可以了:

安装 配置

filebeat

1.配置 filebeat.yml 设置为true ，默认是false 配置日志文件位置，支持通配符

配置输入对象为logstash，默认是es 2. 启动logstash 进入到 filebeat的解压目录,执行一下命令

# -e: error 把错误日志 输出到控制台 # -c filebeat.yml: 指定配置文件 filebeat.yml 的路径 # -d "publish": debug模式启动,把publish相关的日志都在控制台输出, filebeat.exe -e -c filebeat.yml -d "publish"

logstash

# 启动logstash 并指定配置文件 logstash -f ..\config\hello.conf #测试配置文件是否有语法错误 logstash -f ..\config\hello.conf --config.test_and_exit #当配置文件修改时,自动重启 logstash -f ..\config\hello.conf --config.reload.automatic

hello.conf 文件

# 通过beat 输入 input{ beats { port => 5044 } } # 配置日志文件解析规则 filter{ #83.149.9.216 - - [04/Jan/2015:05:13:46 +0000] "GET /presentations/logstash-monitorama-2013/images/redis.png HTTP/1.1" 200 25230 "http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36" grok { match => { "message" => "%{IP:client} .* \[%{DATA:timestamp}\] \"%{WORD: verb} %{URIPATHPARAM:request} .*\/%{GREEDYDATA:httpversion}\" %{NUMBER: response} %{NUMBER:duration:int} \"%{DATA:referrer}\" \"%{DATA:agent}\"" } } #04/Jan/2015:05:13:45 +0000 date{ match=> [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ] remove_field => [stimestamp] } } # 输出到 elasticsearch output{ elasticsearch { hosts => "http://localhost:9200" index => "logstash-hello2" } stdout{} }

elasticsearch

# 进入到bin目录启动 elasticsearch elasticsearch # 查看es的信息 curl localhost:9200

kibana

# 进入到bin目录 kibana.bat

访问 kibana http://localhost:5601 配置一下 index ok 完工