安装部署

  1. cd inlong-agent

配置

线上运行需要从inlong-manager拉取配置，配置conf/agent.properties如下：

  1. agent.local.ip=写入本机ip
  2. agent.manager.vip.http.host=manager host
  3. agent.manager.vip.http.port=manager port
  4. # audit proxy 地址
  5. audit.proxys=127.0.0.1:10081

启动

解压后如下命令运行

  1. sh agent.sh start

实时添加job配置

  1. curl --location --request POST 'http://localhost:8008/config/job' \
  2. --header 'Content-Type: application/json' \
  3. --data '{
  4. "job": {
  5. "dir": {
  6. "path": "",
  7. "pattern": "/data/inlong-agent/test.log"
  8. },
  9. "trigger": "org.apache.inlong.agent.plugin.trigger.DirectoryTrigger",
  10. "id": 1,
  11. "thread": {
  12. "running": {
  13. "core": "4"
  14. }
  15. },
  16. "name": "fileAgentTest",
  17. "source": "org.apache.inlong.agent.plugin.sources.TextFileSource",
  18. "sink": "org.apache.inlong.agent.plugin.sinks.ProxySink",
  19. "channel": "org.apache.inlong.agent.plugin.channel.MemoryChannel"
  20. },
  21. "proxy": {
  22. "inlongGroupId": "groupId10",
  23. "inlongStreamId": "streamId10"
  24. },
  25. "op": "add"
  26. }'

其中各个参数含义为：

  • job.dir.pattern: 配置读取的文件路径，可包含正则表达式
  • job.trigger: 触发器名称，默认为DirectoryTrigger，功能为监听文件夹下的文件产生事件，任务运行时已有的文件不会读取
  • job.source: 使用的数据源类型，默认为TextFileSource，读取文本文件
  • job.sink：使用的写入器类型，默认为ProxySink，发送消息到dataproxy中
  • proxy.groupId: 写入proxy时使用的groupId，groupId是指manager界面中，数据接入中业务信息的业务ID，此处不是创建的tube topic名称
  • proxy.streamId: 写入proxy时使用的streamId，streamId是指manager界面中，数据接入中数据流的数据流ID