桥接数据到 Kafka

搭建 Kafka 环境,以 MacOS X 为例:

  1. wget https://archive.apache.org/dist/kafka/2.8.0/kafka_2.13-2.8.0.tgz
  2. tar -xzf kafka_2.13-2.8.0.tgz
  3. cd kafka_2.13-2.8.0
  4. # 启动 Zookeeper
  5. ./bin/zookeeper-server-start.sh config/zookeeper.properties
  6. # 启动 Kafka
  7. ./bin/kafka-server-start.sh config/server.properties

创建 Kafka ​ 的主题:

  1. $ ./bin/kafka-topics.sh --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testTopic --create

提示

创建 Kafka Rule 之前必须先在 Kafka 中创建好主题,否则创建 Kafka Rule 失败。

创建规则:

打开 EMQX Dashboard桥接数据到 Kafka - 图1 (opens new window),选择左侧的 “规则” 选项卡。

填写规则 SQL:

  1. SELECT * FROM "t/#"

image

关联动作:

在 “响应动作” 界面选择 “添加”,然后在 “动作” 下拉框里选择 “桥接数据到 Kafka”。

image

填写动作参数:

“保存数据到 Kafka 动作需要两个参数:

1). Kafka 的消息主题

2). 关联资源。现在资源下拉框为空,可以点击右上角的 “新建资源” 来创建一个 Kafka 资源:

image

选择 Kafka 资源”。

填写资源配置:

填写真实的 Kafka 服务器地址,多个地址用,分隔,其他配置保持默认值,然后点击 “测试连接” 按钮,确保连接测试成功。

最后点击 “新建” 按钮。

image

返回响应动作界面,点击 “确认”。

image

返回规则创建界面,点击 “新建”。
按照Kafka的业务数据,填写 Kafka 主题 Produce 类型 Produce 策略 Strategy Key 磁盘缓存, 其中,消息内容模板 字段,支持变量。若使用空模板(默认),消息内容为 JSON 格式的所有字段。

image

规则已经创建完成,现在发一条数据:

  1. Topic: "t/1"
  2. QoS: 0
  3. Payload: "hello"

然后通过 Kafka 命令去查看消息是否生产成功:

  1. $ ./bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic testTopic --from-beginning

image

在规则列表里,可以看到刚才创建的规则的命中次数已经增加了 1:

image