Linux 下用 awk 分析日志文件实例
关于 awk
awk 命令比较复杂，不过不要怕，这里不讲它那些复杂的参数，实际上我自己也只记得少数几个参数而已。。。
先简单的描述其作用如下
- 对目标文件逐行分析
- 对每一行的数据，默认以空格作为分隔符将其划分成多个域（或曰字段），并用 $n 来引用划分后的数据，其中 $0 表示原始的整行数据，而 $1 则表示划分出来的第一个域，依次类推
- 当然你也可以自定义分隔符，这个属于进阶知识，暂时先放下不表
- awk 有简单的编程能力，你写的代码需要用 '{}' 包围起来，在花括号里面写代码，作为程序员写 awk 的代码是很简单的，这里我们不打算讲 awk 的语法，一般常用的是
- if 条件判断
- print 打印输出
我们的日志文件，基本上每一行的格式都是固定的，所以就很适合用 awk 来分析了，接下来用一个稍有点复杂的案例来讲解下
目标
通过分析业务系统的 error.log 日志，统计出有哪些异常及其数量
分析
首先要看下异常日志的格式
2020-07-19 01:03:41,399 ERROR [qtp738355611-33898] [AppInfoController] - appUpdate:
java.lang.NumberFormatException: !hex 215
at org.eclipse.jetty.util.TypeUtil.convertHexDigit(TypeUtil.java:375)
at org.eclipse.jetty.util.UrlEncoded.decodeUtf8To(UrlEncoded.java:545)
at org.eclipse.jetty.util.UrlEncoded.decodeTo(UrlEncoded.java:601)
at org.eclipse.jetty.server.Request.extractParameters(Request.java:298)
at org.eclipse.jetty.server.Request.getParameter(Request.java:708)
at com.meizu.apkfilemanage.common.util.BuildBeanUtil.buildAppUpdate(BuildBeanUtil.java:905)
at com.meizu.apkfilemanage.web.AppInfoController.appUpdate(AppInfoController.java:204)
at sun.reflect.GeneratedMethodAccessor132.invoke(Unknown Source)经过分析，发现每次打印异常的格式如下
- 第一行：时间，日志级别，线程信息，类，异常消息（业务）
- 第二行及后续：异常堆栈信息，其中第二行是异常的类名及异常消息
那么我们的思路是
- 找到有第三个域为 ERROR 的那一行
- 该行的下一行就是我们需要统计分析的那一行
命令
注意：该命令在 Linux 命令行下应该在同一行，这里为了排版需要，分成了多行
zcat error.log.20200719.gz |
awk -v line=0 '{if (line==1) print($0); if ($3=="ERROR") {line=1;} else {line=0;}}' |
sort | uniq -c | sort -rn命令执行结果如下
54 redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool
54 org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.exceptions.PersistenceException:
28 org.springframework.http.converter.HttpMessageNotWritableException: Could not write JSON: org.eclipse.jetty.io.EofException; nested exception is com.google.gson.JsonIOException: org.eclipse.jetty.io.EofException
12 org.springframework.dao.DeadlockLoserDataAccessException:
8 org.springframework.transaction.CannotCreateTransactionException: Could not open JDBC Connection for transaction; nested exception is java.sql.SQLException: An attempt by a client to checkout a Connection has timed out.
7 java.lang.IllegalArgumentException: fromIndex(150) > toIndex(127)
6 redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out
4 org.springframework.dao.DataIntegrityViolationException:
4 java.lang.IllegalStateException: Optional long parameter 'timestamp' is present but cannot be translated into a null value due to being declared as a primitive type. Consider declaring it as object wrapper for the corresponding primitive type.
3 org.eclipse.jetty.io.EofException
3 java.lang.NullPointerException
3 java.lang.IllegalArgumentException: fromIndex(150) > toIndex(131)
3 com.alibaba.fastjson.JSONException: syntax error, pos 720
1 org.springframework.dao.CannotAcquireLockException:
1 java.lang.NumberFormatException: !hex 71
1 java.lang.NumberFormatException: !hex 34
1 java.lang.NumberFormatException: !hex 215
1 java.lang.NumberFormatException: !hex 15
1 com.alibaba.fastjson.JSONException: unclosed string : ?
1 com.alibaba.fastjson.JSONException: unclosed string : ?
1 com.alibaba.fastjson.JSONException: syntax error, unexpect token error
1 com.alibaba.fastjson.JSONException: not match ':' - ,
1 com.alibaba.fastjson.JSONException: error parse false命令解析
zcat
和 cat 命令类似，不过作用的对象是压缩文件，将文件内容直接输出
|
这是 linux 管道符，他的作用是把管道符左边命令的输出当作管道符右边命令的输入，示例
ps aux | grep 'java'awk
- -v ：我们定义了一个变量 line，其初始值为 0，如果为 1 就表示当前行是异常堆栈的第一行，我们要将该行输出供后续统计
awk -v line=0 '{if (line==1) print($0); if($3=="ERROR") {line=1;} else {line=0;}}'我们知道，awk 命令会对输入的文本逐行进行处理，类似以下的处理过程
while 当前行不为空
处理 当前行
移动到 下一行那么上面的命令就可以这样理解
# line 自定义变量，指示当前行是否包含异常信息
line = 0
while 当前行不为空
if line == 1
输出当前行
if $3 == 'ERROR'
line = 1
else
line = 0这段代码的作用就是找到含有 ERROR 的行，并将其下一行打印输出
sort
以行为单位对文本进行排序，如果要做统计，必须先排序，后续才能使用 uniq 的去重统计功能
uniq
删除重复的行，参数
- -c 在输出行前面加上每行在输入文件中出现的次数。
- -d 仅显示重复行。
- -u 仅显示不重复的行
一些常用的 awk 命令
统计各个接口的 pv
分析 nginx 的 access 日志文件，假定你的日志格式里，请求 uri 是在第 14 个域
awk '{print $14}}' xxx_access.log | sort | uniq -c | sort -rn | head -n 20统计慢接口
假定你的日志文件里，http 响应时间在第9个域，那么要统计响应时间超过 1 秒的接口数量
awk '{if($9>1)print $0}' | wc -l如果想要输出具体是哪些接口，可以结合上面命令
awk '{if($9>1)print $0}'|awk '{print $14}' |sort|uniq -c|sort -rn|head -n 20如果要分时段统计慢接口
- -F ：自定义分隔符，因为时间是用 : 分隔的，所以经过 awk 分隔后第一个域就是小时数了
awk '{if($9>1)print $1}'|awk -F ':' '{print $1}'|uniq -c统计各响应码
假定你的日志文件里 http 响应码是第二个域
awk '{print $2}'| sort | uniq -c | sort -rn