Filebeat、Logstash、Rsyslog 各种姿势采集Nginx日志
共 6400字,需浏览 13分钟
· 2021-04-01
原文连接:https://www.cnblogs.com/xiejava/p/12452434.html
这次示例Elasitcsearch是三个节点组成的集群172.28.65.22、172.28.65.23、172.28.65.24,172.28.65.30 是kibana的地址,172.28.65.32是数据采集服务器,上面装有logstash、nginx、 filebeat。一般来说采集服务器上有logstash,而nginx、 filebeat应该是装在采集目标上。
一、直接通过filebeat采集日志到ES
![](https://filescdn.proginn.com/8dcfdc18f1700445ae45f47a0f4612af/c928be912391c9a31fd39d217ab91b48.webp)
具体:
- type: log
# Change to true to enable this input configuration.
enabled: true
# Paths that should be crawled and fetched. Glob based paths.
paths:
#- /var/log/*.log
- /usr/local/nginx/logs/*.log
#- c:\programdata\elasticsearch\logs\*
![](https://filescdn.proginn.com/4b6b2e02dbb83384a6a3fddd65ef5a7c/ac0ad8cc9708de77e1faab2cbd702e35.webp)
![](https://filescdn.proginn.com/d7219ff1d32286ad5481ab293eb0e336/e3b2c15aa515d3cd2a536fa65cca56e9.webp)
![](https://filescdn.proginn.com/097c0588224f470b7cd146b49bfa7738/bb49dc333cee3b3848fa906750c4371d.webp)
./filebeat -e -c filebeat.yml -d "publish"
![](https://filescdn.proginn.com/fbc60d12fe049111adc3ad0b73df8865/5275887d0ecb4afb3b06c96a0ce083ef.webp)
可以看到nginx中的access.log和error.log的日志都已经上来了。
在kibana中通过filebeat-*过滤看filebeat的索引,可以看到通过filebeat采过来的数据。
![](https://filescdn.proginn.com/07832cd0e781fbe26f704004a7a73e4c/a36a5c7fb928fece3d9ca0e87de4b941.webp)
可以在filebeat 和 ES之间加一层Logstash,可以将filebeat于ES解耦,通过Logstash可以做一些预处理,也可以通过Logstash采集到除ES以外的其他数据存储上。
二、通过filebeat采集日志到logstash再送到ES
![](https://filescdn.proginn.com/61932c6f9e376a97963686f3c4e65056/9cd04382b6b9e49ad5b6df8a654a3171.webp)
input {
beats {
port => "5044"
}
}
output {
elasticsearch { hosts => ["172.28.65.24:9200"] }
stdout { codec => rubydebug}
}
bin/logstash -f filebeat-pipeline.conf --config.reload.automatic
![](https://filescdn.proginn.com/04077fe4b1ea01b1d3c817696cfe14be/29f2c274960dafd5b0b3ded12e11bd37.webp)
启动以后可以看到logstash的启动日志5044端口的服务已经起了,可以接受通过filebeat通过5044端口传过来的数据了。
接下来配置filebeat:
在filebeat的安装目录找到filebeat.yml 配置获取日志文件的路径及输出到logstash的配置。不直接输出到ES了。
具体配置如下:
将output.elasticsearch的配置屏蔽,配置output.logstash,配置正确的logstash的服务主机和端口。
![](https://filescdn.proginn.com/aa3df06524abfcbfa11cbfe753f4f375/715167ae7623ace53a8fe3a1d42af6f1.webp)
./filebeat -e -c filebeat.yml -d "publish"
![](https://filescdn.proginn.com/c1eb81326e2d47f90b35d34212aaf9f1/911fb1b3b4fe3cf7a050d5e60ce0a1e8.webp)
![](https://filescdn.proginn.com/5baca078a1d3eac8b16b0435804a714a/809b74470239ab466b38566549f8343b.webp)
三、直接通过rsyslog采集日志到logstash在送到ES
在很多情况下你需要采集的web服务器并不是自己能够控制的,不是说你想装filebeat就可以让你装的,这时候就可以要求目标数据源通过 syslog 的方式将日志发出来。我们可以再通过 logstash送到ES或其他的日志存储处理平台。
通过syslog往日志服务器上发nginx的日志有两种方式,一种就是利用nginx的配置往外发日志,一种就是通过配置linux的rsyslog的配置往外发日志。
1、通过nginx配置发送syslog到logstash
具体配置如下:
在nginx的配置文件nginx.conf中,在server下配置access_log和error_log的输出方式
access_log syslog:server=172.28.65.32:514,facility=local7,tag=nginx_access_log,severity=info;
error_log syslog:server=172.28.65.32:514,facility=local7,tag=nginx_error_log,severity=info;
配置完成后执行 ./nginx -s reload 使配置生效。这样就通过linux的rsyslog服务将nginx的日志往外发了。
接着来配置logstash的syslog的服务接收配置 。在logstash的安装目录下新建vi syslog-pipeline.conf,syslog-pipeline.conf的具体配置如下:
input {
syslog{
type => "system-syslog"
port => 514
}
}
output {
elasticsearch {
hosts => ["172.28.65.24:9200"]
index => "system-syslog-%{+YYYY.MM}"
}
stdout { codec => rubydebug}
}
可以看到logstash启动以后开启了514端口的tcp和upd协议的侦听。
我们访问nginx服务提供的web服务http://172.28.65.32/,在logstash的控制台 可以看到相应的nginx访问access和error的日志
![](https://filescdn.proginn.com/2ad3620980b639661f23608f2689160e/efe62655b78c61d870dfcdf446b0537c.webp)
同样通过Elasticsearch-head在ES 中也可以看到有相应的日志数据
2、通过配置rsyslog发送syslog日志到logstash
有些老版本的nginx不支持配置syslog输出日志,或者说我想输出其他不是nginx的日志该怎么办呢?可以通过直接配置rsyslog的方式来往外发送日志。
在/etc/rsyslog.conf 中配置:
$IncludeConfig /etc/rsyslog.d/*.conf
![](https://filescdn.proginn.com/bf0902aa9de83efdf98ffc29c8671245/942e8937000bc0979fd1466d65b00f99.webp)
$ModLoad imfile
$InputFilePollInterval 1
$WorkDirectory /var/spool/rsyslog
$PrivDropToGroup adm
##Nginx访问日志文件路径,根据实际情况修改:
$InputFileName /usr/local/nginx/logs/access.log
$InputFileTag nginx-access:
$InputFileStateFile stat-nginx-access
$InputFileSeverity info
$InputFilePersistStateInterval 25000
$InputRunFileMonitor
##Nginx错误日志文件路径,根据实际情况修改:
$InputFileName /usr/local/nginx/logs/error.log
$InputFileTag nginx-error:
$InputFileStateFile stat-nginx-error
$InputFileSeverity error
$InputFilePersistStateInterval 25000
$InputRunFileMonitor
*.* @172.28.65:514
systemctl restart rsyslog
![](https://filescdn.proginn.com/a6dfcf40e52e117013943cb017e1a022/db697583dd3b7b097acd1cdc2b02df93.webp)
- END -
公众号后台回复「加群」加入一线高级工程师技术交流群,一起交流进步。
推荐阅读
Kubernetes 运维架构师实战集训营 ![]()
31天拿下K8s含金量最高的CKA证书! 微服务项目自从用了SkyWalking监控系统,睡觉也香了~ 一个完整的、全面 k8s 化的集群稳定架构(值得借鉴) JAVA应用运维,线上故障排查全套路 K8s常见问题:Service 不能访问排查流程 记一次 Linux服务器被入侵后的排查思路
点亮,服务器三年不宕机