简介

kafka-logger 是一个插件，可用作ngx_lua nginx 模块的 Kafka 客户端驱动程序。

它可以将接口请求日志以 JSON 的形式推送给外部 Kafka 集群。如果在短时间内没有收到日志数据，请放心，它会在我们的批处理处理器中的计时器功能到期后自动发送日志。

有关 Apache APISIX 中 Batch-Processor 的更多信息，请参考。 Batch-Processor

属性

属性名称必选项描述
broker_list必须要推送的 kafka 的 broker 列表。
kafka_topic必须要推送的 topic。
timeout可选发送数据的超时时间。
key必须用于加密消息的密钥。
name必须batch processor 的唯一标识。
batch_max_size可选批量发送的消息最大数量，当到达该阀值后会立即发送消息
inactive_timeout可选不活跃时间，如果在该时间范围内都没有消息写入缓冲区，那么会立即发送到 kafka。默认值： 5(s)
buffer_duration可选缓冲周期，消息停留在缓冲区的最大时间，当超过该时间时会立即发送到 kafka。默认值： 60(s)
max_retry_count可选最大重试次数。默认值： 0
retry_delay可选重试间隔。默认值： 1(s)

工作原理

消息将首先写入缓冲区。 当缓冲区超过batch_max_size时，它将发送到kafka服务器， 或每个buffer_duration刷新缓冲区。

如果成功，则返回“ true”。 如果出现错误，则返回“ nil”，并带有描述错误的字符串（buffer overflow）。

Broker 列表

插件支持一次推送到多个 Broker，如下配置：

  1. {
  2.     "127.0.0.1":9092,
  3.     "127.0.0.1":9093
  4. }

如何启用

  1. 为特定路由启用 kafka-logger 插件。
  1. curl http://127.0.0.1:9080/apisix/admin/routes/5 -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
  2. {
  3.     "plugins": {
  4.        "kafka-logger": {
  5.            "broker_list" :
  6.              {
  7.                "127.0.0.1":9092
  8.              },
  9.            "kafka_topic" : "test2",
  10.            "key" : "key1"
  11.        }
  12.     },
  13.     "upstream": {
  14.        "nodes": {
  15.            "127.0.0.1:1980": 1
  16.        },
  17.        "type": "roundrobin"
  18.     },
  19.     "uri": "/hello"
  20. }'

测试插件

  • 成功:
  1. $ curl -i http://127.0.0.1:9080/hello
  2. HTTP/1.1 200 OK
  3. ...
  4. hello, world

禁用插件

当您要禁用kafka-logger插件时，这很简单，您可以在插件配置中删除相应的json配置，无需重新启动服务，它将立即生效：

  1. $ curl http://127.0.0.1:2379/apisix/admin/routes/1  -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d value='
  2. {
  3.     "methods": ["GET"],
  4.     "uri": "/hello",
  5.     "plugins": {},
  6.     "upstream": {
  7.         "type": "roundrobin",
  8.         "nodes": {
  9.             "127.0.0.1:1980": 1
  10.         }
  11.     }
  12. }'