EMQ X 桥接至流式服务 (企业版)

物联网的数据产生和消费方式不同于传统互联网,海量的设备每天每时持续不断的在生成数据。这些数据在内容上可以是千差万别的,可以是一个房间的温度,一个辆车的位置,一台工业设备的状态等等。但是对于同一个应用下的类似的终端产品,它们产生的数据往往又很接近,智能家庭中的不同厂家生产的温度计可能各有特点,但是它们向应用服务器上报的数据却又非常类似。这样无数的不同而又相同的小数据片每天在物联网上流动,汇集,被集中处理后再反馈到终端设备,这就要求物联网有一种有别于传统互联网的数据处理模式来处理这些数据流。这就是我们所说的流式数据处理。

流式数据处理的特点

无穷尽的数据(Unbounded Data)。流式数据处理的数据源,是持续生成的,一直会有数据源源不断的产生,甚至可能不会有尽头。

无穷尽的数据处理(Unbounded Data Processing)既然流数据的产生是无穷尽的,那对流数据的处理也应该是无穷尽的。在数据处理单元的输入测是汇入的数据流,在数据处理单元的输入侧是经过处理的数据,这些数据可以被使用,被保存,被再处理,或者反馈到输入网中。

低延迟有别于对批处理的循环,流式数据处理并不分段处理数据,而是对流数据随到随处理,输入和输出密度在一定程度上保持一种较高的相关性。这种随到随处理的模式也有利于消息的流入流出延迟一直保持在一个相对较低的水平。

近似或推测性结果(Approximate or Speculative Results)数据源是无穷尽的流,在任意时刻都会有数据待处理,所以由已处理数据得出的结果可能是近似的或者推测的。

EMQ X 作为流数据源

EMQ X 是功能强大的物联网消息中间件,有着高性能,高可用,低延迟的特性,MQTT协议的发布订阅的异步消息交换模式使得它很适合作为流式数据处理中的数据源,向流数据处理源源不断的输送数据。

在本章节接下来的内容中,您将通过案例看到如何配置 EMQ X 节点将消息发送到数据流式处理单元。