桥接数据到 Kafka

搭建 Kafka 环境,以 MaxOS X 为例:

  1. $ wget http://apache.claz.org/kafka/2.3.0/kafka_2.12-2.3.0.tgz
  2. $ tar -xzf kafka_2.12-2.3.0.tgz
  3. $ cd kafka_2.12-2.3.0
  4. # 启动 Zookeeper
  5. $ ./bin/zookeeper-server-start.sh config/zookeeper.properties
  6. # 启动 Kafka
  7. $ ./bin/kafka-server-start.sh config/server.properties

创建 Kafka 的主题:

  1. $ ./bin/kafka-topics.sh --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testTopic --create

创建 Kafka Rule 之前必须先在 Kafka 中创建好主题,否则创建 Kafka Rule 失败。

创建规则:

打开 emqx dashboard,选择左侧的 “规则” 选项卡。

选择触发事件 “消息发布”,然后填写规则 SQL:

  1. SELECT * FROM "t/#"

image

关联动作:

在 “响应动作” 界面选择 “添加”,然后在 “动作” 下拉框里选择 “桥接数据到 Kafka”。

image

填写动作参数:

“保存数据到 Kafka 动作需要两个参数:

1). Kafka 的消息主题

2). 关联资源。现在资源下拉框为空,可以点击右上角的 “新建资源” 来创建一个 Kafka 资源:

image

选择 Kafka 资源”。

image

填写资源配置:

填写真实的 Kafka 服务器地址,多个地址用,分隔,其他配置保持默认值,然后点击 “测试连接” 按钮,确保连接测试成功。

最后点击 “新建” 按钮。

image

返回响应动作界面,点击 “确认”。

image

返回规则创建界面,点击 “新建”。

image

规则已经创建完成,现在发一条数据:

  1. Topic: "t/1"
  2. QoS: 0
  3. Retained: false
  4. Payload: "hello"

然后通过 Kafka 命令去查看消息是否生产成功:

  1. $ ./bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic testTopic --from-beginning

image

在规则列表里,可以看到刚才创建的规则的命中次数已经增加了 1:

image