TubeMQ

概述

Apache InLong TubeMQ 是一个分布式、开源的 pub-sub 消息传递和流平台, 适合于万亿规模数据。

版本

抽取节点版本
TubeMQTubeMQ: >=0.1.0

依赖项

为了设置 TubeMQ Extract 节点,下面提供了使用构建自动化工具(例如 Maven 或 SBT)和带有 Sort Connectors JAR 包的 SQL 客户端的两个项目的依赖关系信息。

Maven 依赖

  1. <dependency>
  2. <groupId>org.apache.inlong</groupId>
  3. <artifactId>sort-connector-tubemq</artifactId>
  4. <version>1.10.0-SNAPSHOT</version>
  5. </dependency>

如何创建TubeMQ抽取节点

SQL API 的使用

使用 Flink SQL Cli :

  1. -- Create a TubeMQ table 'tube_extract_node' in Flink SQL Cli
  2. Flink SQL> CREATE TABLE tube_extract_node (
  3. id INT,
  4. name STRING,
  5. age INT,
  6. salary FLOAT
  7. ) WITH (
  8. 'connector' = 'tubemq',
  9. 'topic' = 'topicName',
  10. 'master.rpc' = 'rpcUrl', -- 127.0.0.1:8715
  11. 'format' = 'json',
  12. 'group.name' = 'groupName');
  13. -- Read data from tube_extract_node
  14. Flink SQL> SELECT * FROM tube_extract_node;

InLong Dashboard 方式

TODO

InLong Manager Client 方式

TODO

TubeMQ 抽取节点参数信息

参数是否必须默认值数据类型描述
connectorrequiredtubemqString设置连接器类型 tubemq
topicrequired(none)String设置抽取的topic
masterRpcrequired(none)String设置TubeMQ master service 地址
formatrequired(none)StringTubeMQ 数据类型, 支持 JSON, Avro, etc. For more information, see the Flink format.
groupIdrequired(none)StringTubeMQ 消费组