error-log-logger

描述

error-log-logger 是用于按用户设定的 log 级别对 APISIX 的 error.log 进行筛选,继而将筛选的数据发送到 TCP 服务或者 Apache SkyWalking 的插件。

以实现将 error.log 中的数据进行筛选并发送到监控工具或其它 TCP 服务,和通过 HTTP 发送到 SkyWalking 的能力。

该插件提供了将日志数据作为批处理推送到外部 TCP 服务器的功能。如果您没有收到日志数据,不用担心,它会在我们的批处理处理器中的计时器功能到期后自动发送日志。

有关 Apache APISIX 中 Batch-Processor 的更多信息,请参考。 Batch-Processor

属性

名称类型必选项默认值有效值描述
tcp.hoststring必须TCP 服务的 IP 地址或主机名
tcp.portinteger必须[0,…]目标端口
tcp.tlsboolean可选false用于控制是否执行 SSL 验证
tcp.tls_server_namestring可选TLS 服务名称标记
skywalking.endpoint_addrstring可选http://127.0.0.1:12900/v3/logsSkywalking 的 HTTP endpoint 地址,例如:http://127.0.0.1:12800
skywalking.service_namestring可选APISIXskywalking 上报的 service 名称
skywalking.service_instance_nameString可选APISIX Instance Nameskywalking 上报的 service 实例名,如果期望直接获取本机主机名则设置为 $hostname
clickhouse.endpoint_addrString可选http://127.0.0.1:8213clickhouse 的 HTTP endpoint 地址,例如 http://127.0.0.1:8213
clickhouse.userString可选defaultclickhouse 的用户名
clickhouse.passwordString可选clickhouse 的密码
clickhouse.databaseString可选clickhouse 的用于接收 log 的数据库
clickhouse.logtableString可选clickhouse 的用于接收 log 的表
hoststring可选(弃用,替换成tcp.host) TCP 服务的 IP 地址或主机名
portinteger可选[0,…](弃用,替换成tcp.port) 目标端口
tlsboolean可选false(弃用,替换成tcp.tls) 用于控制是否执行 SSL 验证
tls_server_namestring可选(弃用,替换成tcp.tls_server_name) TLS 服务名称标记
timeoutinteger可选3[1,…]连接和发送数据超时间(以秒为单位)
keepaliveinteger可选30[1,…]复用连接时,连接保持的时间(以秒为单位)
levelstring可选WARN进行错误日志筛选的级别,缺省 WARN,取值 [“STDERR”, “EMERG”, “ALERT”, “CRIT”, “ERR”, “ERROR”, “WARN”, “NOTICE”, “INFO”, “DEBUG”],其中 ERR 与 ERROR 级别一致

本插件支持使用批处理器来聚合并批量处理条目(日志/数据)。这样可以避免插件频繁地提交数据,默认设置情况下批处理器会每 5 秒钟或队列中的数据达到 1000 条时提交数据,如需了解或自定义批处理器相关参数设置,请参考 Batch-Processor 配置部分。

如何开启和禁用

本插件属于 APISIX 全局性插件。

开启插件

conf/config.yaml 中启用插件 error-log-logger 即可,不需要在任何 route 或 service 中绑定。 下面是一个在 conf/config.yaml 中添加插件信息的例子:

  1. plugins: # plugin list
  2. ... ...
  3. - request-id
  4. - hmac-auth
  5. - api-breaker
  6. - error-log-logger # enable plugin `error-log-logger

禁用插件

conf/config.yaml 中删除或注释掉插件 error-log-logger 即可。

  1. plugins: # plugin list
  2. ... ...
  3. - request-id
  4. - hmac-auth
  5. - api-breaker
  6. #- error-log-logger # enable plugin `error-log-logger

如何设置接收日志的 TCP 服务器

步骤:更新插件属性

  1. curl http://127.0.0.1:9080/apisix/admin/plugin_metadata/error-log-logger -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
  2. {
  3. "tcp": {
  4. "host": "127.0.0.1",
  5. "port": 1999
  6. },
  7. "inactive_timeout": 1
  8. }'

如何设置接收日志的 SkyWalking OAP 服务器

步骤:更新插件属性

  1. curl http://127.0.0.1:9080/apisix/admin/plugin_metadata/error-log-logger -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
  2. {
  3. "skywalking": {
  4. "endpoint_addr": "http://127.0.0.1:12800/v3/logs"
  5. },
  6. "inactive_timeout": 1
  7. }'

如何设置接收日志的 clickhouse 数据库

插件将 error log 作为一个字符串发送到 clickhouse 表的 data 字段。

TODO 将 error log 作为一个字符串保存到 clickhouse 数据库的 data 字段,未来我们将会增加更多的字段。

步骤:更新插件属性

  1. curl http://127.0.0.1:9080/apisix/admin/plugin_metadata/error-log-logger -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
  2. {
  3. "clickhouse": {
  4. "user": "default",
  5. "password": "a",
  6. "database": "error_log",
  7. "logtable": "t",
  8. "endpoint_addr": "http://127.0.0.1:8123"
  9. }
  10. }'