Logstash实时读取Nginx日志并存储到MySQL思路
导读：本文将通过一个简单的例子来展示如何使用Logstash实时读取Nginx日志并存到MySQL(阿里云ADB)数据库中。由于Nginx搭建和配置非本文重点，所以这里就不展开讨论了，朋友们可以参考网上的教程自行搭建配置。
Logstash概念
Logstash is an open source data collection engine with real-time pipelining capabilities
简单来说，Logstash是一条具备实时数据传输能力的pipeline管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道支持根据自身需求在中间加上滤网，Logstash提供了很多功能强大的滤网以满足的各种应用场景。
搭建Logstash
要搭建可用于采集Nginx日志并输出到MySQL，主要分为以下几个步骤：
- Logstash安装
- 安装logstash-output-jdbc插件
- 配置mysql-connector-java.jar
1、Logstash安装
环境要求JDK1.8以上，需提前配置好JDK
//从Logstash官方下载地址并上传到服务器
https://www.elastic.co/cn/downloads/logstash
//解压
tar -xzvf logstash-7.0.0.tar.gz -C /usr/local/
//修改名字
mv logstash-7.0.0 logstash2、安装logstash-output-jdbc插件
虽然logstash默认安装了大部分的插件，但是有些插件没有默认安装。logstash原生版本只有input中自带jdbc插件,这意味着只支持jdbc导入而不支持jdbc导出，我们的目的是期望输出到MySQL，所以需要额外安装 logstash-output-jdbc 插件。
2.1 安装Gem与更新及修改镜像源
//安装gem
yum install -y gem
//检查并修改镜像源
gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/
//更新镜像源
gem update --system2.2 修改 logstash的 gem 镜像源
国外的gem源由于网络原因，可能导致国内访问太慢而且不稳定，还经常安装不成功。所以这里需要修改logstash的 gem 镜像源。
//进入到logstash目录可以看到Gemfile文件
cd /usr/local/logstash
ls
//查看Gemfile文件
vi Gemfile
//修改 logstash的 gem 镜像源,更改默认的 https://rubygems.org 为https://gems.ruby-china.com
source "https://rubygems.org"2.3 安装logstash-output-jdbc插件
//进入到/usr/local/logstash/bin/ 目录中执行安装命令,输出Installation successful既安装成功
./logstash-plugin install logstash-output-jdbc
//查看插件列表
./logstash-plugin list3、配置mysql-connector-java.jar
MySQL Connector/J是MySQL官方JDBC驱动程序，JDBC（Java Data Base Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。
//官网下载的方式比较慢，可选择从mvnrepository下载
https://mvnrepository.com/artifact/mysql/mysql-connector-java//创建jdbc目录用于存放 mysql-connector-java.jar
mkdir -p /usr/local/logstash/jdbc
//将下载好的jar包上传到服务器 mysql-connector-java
rz配置读取Nginx日志并输出到MySQL的 conf文件
步骤：
- 配置Logstash input 为Nginx
- 根据Nginx日志格式选择对应的过滤插件（Filter plugins）
- 配置Logstash output为MySQL
1、配置Logstash input 为Nginx
在 /usr/local/logstash/config/ 创建一个test.conf 文件，并配置input为Nginx
input {
file {
path => ["此处填写Nginx的日志目录位置"]
type => "nginx"
}
}2、根据Nginx日志格式选择对应的过滤插件
由于日志格式多种多样，所以需要结合实际情况选择对应的过滤插件。官网提供了丰富的过滤插件可帮助我们进行处理。比较常用的如 grok、json、kv、mutate等。
//官网filter-plugins插件地址
https://www.elastic.co/guide/en/logstash/current/filter-plugins.html下面用一条Nginx日志为例子进行分析
该日志格式所需提取的参数格式均为类似 foo=bar，Logstash提供的 Kv filter plugin 正好符合我们的需求。
进一步分析发现我们所需的参数位于"？" 之后，且每一个 foo=bar 都是用 "&" 进行分隔。
查阅Kv filter plugin 插件文档得知可以通过配置选项 field_split 实现效果
自此便可以配置好 input 和 filter
input {
file {
path => ["/data/nginx_logs/ods_media_show_log/access.log"]
type => "nginx"
}
}
filter {
kv {
field_split => "&?"
}
}3、配置Logstash output为MySQL
主要是配置一些MySQL连接信息、及编写插入的SQL语句。下面以一个简单的例子，将通过filter提取到的"idfa" 插入到MySQL(ADB) 数据库中。
output {
jdbc {
driver_jar_path => "/usr/local/logstash/jdbc/mysql-connector-java-8.0.19.jar"
driver_class => "com.mysql.jdbc.Driver"
#数据库连接
connection_string => "jdbc:mysql://xxxxxxxxx.ads.aliyuncs.com:3306/数据库名?user=xxxxx&password=xxxxxx"
#insert语句
statement => [ "insert into v2_ods_media_show_log (`idfa`) value(?)",
"idfa"]
}
}4、自此完成配置，下面是完整的配置
input {
file {
path => ["/data/nginx_logs/ods_media_show_log/access.log"]
type => "nginx"
}
}
filter {
#使用kv插件处理
kv {
field_split => "&?"
}
}
output {
jdbc {
driver_jar_path => "/usr/local/logstash/jdbc/mysql-connector-java-8.0.19.jar"
driver_class => "com.mysql.jdbc.Driver"
#数据库连接
connection_string => "此处配置jdbcURL"
#insert语句
statement => [ "insert into v2_ods_media_show_log (`idfa`,`insert_time`) value(?,default)",
"idfa"]
}
}启动Logstash
//进入到/usr/local/logstash/bin/ 目录中执行， -f 指定我们配置好的文件
bin/logstash -f /usr/local/logstash/config/test.conf 启动Logstash查看效果，Logstash实时获取Nginx日志并成功存入MySQL。
总结
本文以一个简单的例子讨论使用Logstash实时采集Nginx日志并存入MySQL的思路。要实现存入MySQL主要需要安装logstash-output-jdbc插件以及 mysql-connector-java.jar。根据日志的格式和实际业务场景选取组合合适的过滤插件，并编写过滤规则。最后使用 -f 指定配置文件启动Logstash。
感谢您的阅读，如果喜欢本文欢迎关注和转发，本头条号将坚持持续分享IT技术知识。对于文章内容有其他想法或意见建议等，欢迎提出共同讨论共同进步。