图规则

最初,eKuiper 利用 SQL 来定义规则逻辑。虽然这对开发人员来说很方便,但对没有开发知识的用户来说,还是不容易使用。即使是用SQL定义的,在运行时,规则都是一个元素的有向无环图(Source/Operator/Sink)。该图可以很容易地映射到一个拖放用户界面,以方便用户。因此,在规则API中提供了一个替代的 graph 属性。

graph 属性是有向无环图的 JSON 表述。它由 nodestopo 组成,分别定义了图中的节点和它们的边。下面是一个由图形定义的最简单的规则。它定义了3个节点:demohumidityFiltermqttOut。这个图是线性的,即demo->humidityFilter->mqttOut。该规则将从mqtt(demo)读取,通过湿度过滤(humidityFilter)并汇入mqtt(mqttOut)。

  1. {
  2. "id": "rule1",
  3. "name": "Test Condition",
  4. "graph": {
  5. "nodes": {
  6. "demo": {
  7. "type": "source",
  8. "nodeType": "mqtt",
  9. "props": {
  10. "datasource": "devices/+/messages"
  11. }
  12. },
  13. "humidityFilter": {
  14. "type": "operator",
  15. "nodeType": "filter",
  16. "props": {
  17. "expr": "humidity > 30"
  18. }
  19. },
  20. "mqttout": {
  21. "type": "sink",
  22. "nodeType": "mqtt",
  23. "props": {
  24. "server": "tcp://${mqtt_srv}:1883",
  25. "topic": "devices/result"
  26. }
  27. }
  28. },
  29. "topo": {
  30. "sources": ["demo"],
  31. "edges": {
  32. "demo": ["humidityFilter"],
  33. "humidityFilter": ["mqttout"]
  34. }
  35. }
  36. }
  37. }

节点

图的 JSON 中的每个节点至少有3个字段:

  • type:节点的类型,可以是sourceoperatorsink
  • nodeType:节点的实现类型,定义了节点的业务逻辑,包括内置类型和由插件定义的扩展类型。
  • props:节点的属性。它对每个 nodeType 都是不同的。

节点类型

对于源节点,nodeType是源的类型,如 mqttedgex 。请参考 source 了解所有支持的类型。注意,所有源节点共享相同的属性,这与定义流时的属性相同。具体的配置是由 CONF_KEY 定义的。在下面的例子中,nodeType 指定了源节点是一个 mqtt 源。dataSource 和 format 属性与定义流时的含义相同。

  1. "demo": {
  2. "type": "source",
  3. "nodeType": "mqtt",
  4. "props": {
  5. "datasource": "devices/+/messages",
  6. "format":"json"
  7. }
  8. },

对于 sink 节点,nodeType 是 sink 的类型,如 mqttedgex 。请参考 sink 了解所有支持的类型。对于所有的 sink 节点,它们共享一些共同的属性,但每种类型都会有一些自有的属性。

对于 operator 节点,nodeType 是新定义的,而且每个 nodeType 有不同的属性。

内置 operator 节点类型

目前,我们支持以下节点类型的运算符类型。

函数

这个节点定义了一个函数调用表达式。该节点返回一个新的字段,该字段带有函数的名称或expr属性中定义的别名。它只有一个属性:

  • expr:字符串类型,函数调用表达式。

示例:

  1. "logfunc": {
  2. "type": "operator",
  3. "nodeType": "function",
  4. "props": {
  5. "expr": "log(temperature) as log_temperature"
  6. }
  7. }

aggfunc

这个节点定义了一个聚合函数调用表达式。该节点的输入必须是一个行的集合,例如一个窗口。该节点将把多条行聚合成一条聚合的行。例如,计算窗口中10行的计数将只产生一条字段 count=10 的行。计算分组的行的计数将为每组产生一行。它只有一个属性:

  • expr:字符串类型,聚合函数调用表达式。

示例:

  1. "countop": {
  2. "type": "operator",
  3. "nodeType": "aggfunc",
  4. "props": {
  5. "expr": "count(*)"
  6. }
  7. }

过滤

这个节点用一个条件表达式过滤数据流。它只有一个属性:

  • expr: 字符串类型,过滤条件的布尔表达式。

示例:

  1. "myfilter": {
  2. "type": "operator",
  3. "nodeType": "filter",
  4. "props": {
  5. "expr": "temperature > 20"
  6. }
  7. }

pick

这个节点选择要在接下来的流中呈现的字段。它通常用在流程的最后,以定义要选择的数据。它只有一个属性:

  • fields: 字符串数组类型,定义要选择的字段

示例:

  1. "pick": {
  2. "type": "operator",
  3. "nodeType": "pick",
  4. "props": {
  5. "fields": ["log_temperature", "humidity", "window_end()"]
  6. }
  7. }

窗口

这个节点在工作流中定义了一个窗口。它可以接受多个输入,但每个输入必须是一个单行。它将产生一个行的集合。

  • type:字符串类型,表示窗口类型,可用值为 “tumblingwindow”、”hoppingwindow”、”slidingwindow”、”sessionwindow “和 “countwindow”。
  • unit:要使用的时间单位。查看时间单位的所有可用值。
  • size:int 类型,窗口的长度。
  • interval:int 类型,窗口的触发间隔。

示例:

  1. "window": {
  2. "type": "operator",
  3. "nodeType": "window",
  4. "props": {
  5. "type": "hoppingwindow",
  6. "unit": "ss",
  7. "size": 10,
  8. "interval": 5
  9. }
  10. },

join

这个节点可以像SQL连接操作一样合并来自不同来源的数据。输入必须是一个由窗口产生的行集合。输出是另一个行集合,其行是连接的数据。其属性为:

  • from:字符串类型,要连接的左边源节点。
  • joins:一个连接条件的数组。每个连接都有以下属性。
    • name: 字符串类型,要连接的右边源节点
    • type:字符串类型,连接类型,可以是 inner, left, right, full, cross等。
    • on:字符串,用于定义连接条件的bool表达式。

示例:

  1. "joinop": {
  2. "type": "operator",
  3. "nodeType": "join",
  4. "props": {
  5. "from": "device1",
  6. "joins": [
  7. {
  8. "name": "device2",
  9. "type": "inner",
  10. "on": "abs(device1.ts - device2.ts) < 200"
  11. }
  12. ]
  13. }
  14. }

groupby

这个节点定义了要分组的维度。输入必须是一个行的集合。输出是一个分组数据的集合。其属性为:

  • dimensions:字符串数组,维度的列表

示例:

  1. "groupop": {
  2. "type": "operator",
  3. "nodeType": "groupby",
  4. "props": {
  5. "dimensions": ["device1.humidity"]
  6. }
  7. },

orderby

这个节点将对输入集合进行排序。因此,输入必须是一个行的集合,输出将是相同的类型。其属性为:

  • sorts: 一个排序条件的数组。每个条件都有以下属性:
    • field:字符串类型,要被排序的字段。
    • order:字符串类型,排序的方向,可以是 asc 或 desc。

示例:

  1. "orderop": {
  2. "type": "operator",
  3. "nodeType": "orderby",
  4. "props": {
  5. "sorts": [{
  6. "field": "count",
  7. "order": "desc"
  8. }]
  9. }
  10. }