fluent-bit 收集nginx日志（fluentd采集pod日志）
简介
Fluent Bit 是一款快、轻且高度可扩展的日志和指标采集器。
与logstash对比更省资源。
nginx日志可以让我们分析出很多信息，多个应用采集到elasticsearch之后，可以让查询统计更加便捷。
流程
nginx通过log_format设置对应的日志格式，然后fluent-bit 通过解析日志，转换成JSON，写入elasticsearch（数据量大还可以加一层kafka进行缓冲），kinban可以快速展示日志。
采集：nginx => log => fluent-bit => elasticsearch
查询：kinbana=> elasticsearch
部署
nginx日志格式设置
在nginx.conf 里面设置日志格式和日志路径，采用多个分隔符,;来分割日志字段。
log_format main escape=json '$time_local,;$remote_addr,;$remote_user,;$ssl_protocol,;$ssl_cipher,;$http_host,;$request,;$request_time,;$status,;$body_bytes_sent,;$http_referer,;$http_user_agent,;$upstream_status,;$upstream_addr,;$upstream_response_time,;$scheme,;$server_name,;$server_port,;$document_root,;$request_id';
access_log /var/log/nginx/access.log main;配置好之后，只要reload一下nginx服务，新的日志格式就会生效。
部署fluent-bit
在操作系统 CentOS7.9 安装 fluent-bit，直接通过包管理器就可以直接安装，需要先添加fluent-bit源。
cat > /etc/yum.repos.d/fluentbit.repo <<EOF
[fluent-bit]
name = Fluent Bit
baseurl = https://packages.fluentbit.io/centos/\$releasever/\$basearch/
gpgcheck=1
gpgkey=https://packages.fluentbit.io/fluentbit.key
repo_gpgcheck=1
enabled=1
EOF
yum -y install fluent-bit安装之后配置文件路径是在/etc/fluent-bit目录下，首先要先解析函数，通过正则匹配去提取需要的日志，并转换成JSON格式。
编辑 /etc/fluent-bit/parsers.conf最近我们的解析函数。
可以通过https://rubular.com/ 这个网站进行测试正则表达式。
[PARSER]
Name nginx-proxy
Format regex
Regex ^(?<time_local>(.*?)),;(?<remote_addr>(.*?)),;(?<remote_user>(.*?)),;(?<ssl_protocol>(.*?)),;(?<ssl_cipher>(.*?)),;(?<http_host>(.*?)),;(?<method>(.*?))\s+(?<uri>(.*?))\s+(?<http_version>(.*?)),;(?<request_time>(.*?)),;(?<status>(.*?)),;(?<body_bytes_sent>(.*?)),;(?<http_referer>(.*?)),;(?<http_user_agent>(.*?)),;(?<upstream_status>(.*?)),;(?<upstream_addr>(.*?)),;(?<upstream_response_time>(.*)),;(?<scheme>(.*?)),;(?<server_name>(.*?)),;(?<server_port>(\d+)),;(?<document_root>(.*?)),;(?<trace_id>(.*?))$
Types request_time:float status:integer upstream_status:integer upstream_response_time:float body_bytes_sent:integer server_port:integer
Time_Key time_local
Time_Format %d/%b/%Y:%H:%M:%S %z采集配置/etc/fluent-bit/fluent-bit.conf，
[SERVICE]
flush 1
daemon Off
log_level info
parsers_file parsers.conf
plugins_file plugins.conf
http_server Off
http_listen 0.0.0.0
http_port 2020
storage.metrics on
[FILTER]
Name modify
Match *
Add host 10.1.1.1
[INPUT]
Name tail
tag ops-nginx-proxy
path /var/log/nginx/access.log
Parser nginx-proxy
Path_Key file
[OUTPUT]
Name es
Match ops-nginx-proxy
Generate_ID on
Host es-office.meiyou.com
Port 9200
HTTP_User elastic
HTTP_Passwd xxxxxxxx
Index ops-nginx-proxy
Type ops-nginx-proxy
tls on
tls.verify off
Logstash_Format true
Logstash_Prefix ops-nginx-proxy配置好之后，启动服务就完成部署。
总结
fluent-bit很轻量，不仅适合主机上部署采集日志，也很适合收集容器日志。