MySQL SQL

总览

目前 Agent 支持 MySQL 版本为5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x 目前 Agent 只支持 curl 请求创建 Job 方式提交采集任务,暂时不支持 manager 前端创建 SQL 采集

MySQL Job创建步骤

1、在 manager 上申请接入,填写数据信息时,选择消息来源为”自主推送” 2、选择源数据字段分隔符 3、填写源数据字段,字段顺序与 sql 查询结果中的字段顺序保持一致 4、使用 curl 请求创建一个 SQL 读取任务

参数说明

  1. SQL Agent Job 中各个使用参数说明为
  2. 1job.sql.command: 实际执行的 sql 语句,举例: select * from apache_inlong_manager.user
  3. 2job.sql.user: 连接数据库时使用的 user,举例: abc
  4. 3job.sql.password: 连接数据库时使用的 password, 举例: 123456
  5. 4job.sql.hostname: 连接的数据库 ip 地址,举例:127.0.0.1
  6. 5job.sql.port:连接的数据库端口,举例:3306
  7. 6job.sql.separator: 使用的分割符来分割多个字段,需要与 manager 前端

举例

  1. curl --location --request POST 'http://localhost:8008/config/job' \--header 'Content-Type: application/json' \--data '{
  2. "job": {
  3. "sql": {
  4. "command": "select * from apache_inlong_manager.user",
  5. "user": "root",
  6. "password": "inlong",
  7. "hostname": "10.0.0.6",
  8. "port": "3306",
  9. "separator": "|"
  10. },
  11. "id": 1,
  12. "thread": {
  13. "running": {
  14. "core": "4"
  15. }
  16. },
  17. "name": "test",
  18. "source": "org.apache.inlong.agent.plugin.sources.DataBaseSource",
  19. "sink": "org.apache.inlong.agent.plugin.sinks.ProxySink",
  20. "channel": "org.apache.inlong.agent.plugin.channel.MemoryChannel"
  21. },
  22. "proxy": {
  23. "inlongGroupId": "b_test_tube_hive_20211221_01",
  24. "inlongStreamId": "test_data_stream_20211221_01_01"
  25. },
  26. "op": "add"
  27. }
  28. '