为什么需要使用JSON格式记录日志?
原文链接:https://blog.opstree.com/2019/12/31/log-everything-as-json/
日志和监控就像 TonyStark
和他的 IronMan
西装一样,两者需要一起使用才能发挥最大的威力,因为它们可以很好互补。
日志一直是应用程序和基础框架性能和故障诊断的重要手段,但是现在我们已经意识到日志不仅可以用于故障诊断,还可以用于大数据分析以及业务的一些可视化和性能分析等等。
所以,记录应用程序日志是非常非常重要的。
为什么使用 JSON 格式
为了了解 JSON 日志记录的优越性,我们先来了解下 Anuj(系统工程师)和 Kartik(业务分析师)之间的一次对话。
但是几天后 Kartik 发现 Web 接口挂掉了,Anuj 摸了摸头,看了看日志,发现是开发人员在日志中添加了一个额外的字段,这破坏了他自定义的日志解析器。
我相信很多童鞋都可能遇到过类似的情况吧?
在这种情况下,如果开发人员将应用程序设计为 JSON 格式的日志,那么 Anuj 定义的解析器就非常简单了,然后基于 JSON 的 key 搜索字段就可以了,而不需要关心是否在日志中修改了新的字段。
使用 JSON 格式的日志最大的好处就是它本身就是结构化的,这样我们去分析应用日志就非常方便了,不仅可以方便读取日志,还可以通过每个字段进行日志查询,而且几乎所有编程语言都可以很轻松的解析它。
JSON 日志魔法
最近我们创建了一个 Golang 示例应用程序,来获取代码构建、测试和部署阶段的一些相关信息,我们就采用了使用 JSON 格式的日志进行记录。
采集的日志样本如下所示:
在使用 ELK 进行日志收集的时候,我们只需要在 Logstash 中添加如下所示的日志解析即可:
filter {
json {
source => "message"
}
}
我们不需要任何额外的解析步骤,即使在日志中添加了新的字段。采集到的日志如下图所示:
我们可以看到在 Kibana 中已经将 JSON 日志的 key 自动解析为了 ES 的属性,比如 employeename、employeecity 等字段,我们完全不需要在 Logstash 或者其他工具中去添加一些非常复杂的解析,现在我们使用这些数据去创建一些 Dashboard 进行数据分析就非常容易了。
结论
从文本日志迁移到 JSON 日志格式并不会花费太长时间,大部分编程语言都有对应的 JSON 日志库,我非常确信 JSON 日志格式会为你当前的日志收集系统提供更大的灵活性。
下面是一些支持 JSON 日志格式的流行的库:
Golang - https://github.com/sirupsen/logrus
Python - https://github.com/thangbn/json-logging-python
Java - https://howtodoinjava.com/log4j2/log4j-2-json-configuration-example/
PHP - https://github.com/nekonomokochan/php-json-logger
希望现在大家对 JSON 格式日志有一个更好的了解。
往期推荐