实时采集

新建任务

进入”开发目录”菜单,点击”新建任务”按钮,并填写新建任务弹出框中的配置项,配置项说明:

  1. 任务名称:需输入英文字母、数字、下划线组成,不超过64个字符
  2. 任务类型:选择实时采集
  3. 存储位置:在页面左侧的任务存储结构中的位置
  4. 描述:长度不超过200个的任意字符 点击”保存”,弹窗关闭,即完成了新建任务

任务配置

实时采集任务的配置共分为4个步骤:

  1. 选择数据来源:选择已配置的数据源,系统会读取其中的数据
  2. 选择数据目标:选择已配置的数据源,系统会向其写入数据
  3. 通道控制:控制数据同步的执行速度、错误数据的处理方式等
  4. 预览保存:再次确认已配置的规则并保存

add-source

运行任务

在当前任务打开的状态下,单击编辑器右上角的「提交到调度」按钮,在实时运维中心提交任务

任务指标

点击任务名称,可以通过数据曲线、运行信息、日志、属性参数,四个纬度了解任务当前状态 1.数据曲线: 通过配置的prometheus获取相应的指标 2.属性参数:显示当前任务的脚本和环境参数 3.运行信息:展示任务拓扑图 4.日志:显示运行中的Task Managers 和 Job Manager 日志

add-source

支持的数据源

MySQLBinlog模式到kafka
OracleLogMiner模式到kafka

任务运维

在实时运维中心,可以进行提交、停止、续跑等操作

tip

续跑:分为两种情况
1.通过指定文件恢复并续跑
2.选择 CheckPoint或SavePoint 续跑

在任务运行时会根据环境参数中execution.checkpointing.interval保存CheckPoint

caution

实时采集 依赖控制台 Flink组件 运行实时采集前请确保对应组件配置正确

更多信息

更多关于实时采集的最新动态,请关注纯钧开源网址。