基本概念

NameDescriptionOther
Group数据流组,包含多个数据流,一个Group 代表一个数据接入Group 有ID、Name 等属性
Stream数据流,一个数据流有具体的流向Stream 有ID、Name、数据字段等属性
InLongMsgInLong 数据格式,如果从消息队列中直接消费,需要先进行InLongMsg 解析
Agent代表各种采集能力包含文件Agent、SQL Agent、Binlog Agent 等
DataProxy将接收到的数据转发到不同的消息队列支持数据发送阻塞和落盘重发
Sort数据流分拣主要有基于Flink的sort-flink,sort-standalone 本地分拣
TubeMQInLong自带的消息队列服务也可以叫Tube,拥有低成本、高性能特性
PulsarApache Pulsar, 高性能、高一致性消息队列服务
HiveApache Hive,一个建立在Hadoop架构之上的数据仓库
ClickHouseClickHouse,高性能列式OLAP 数据库