任务开发

SparkSQL 任务

新建Spark SQL任务

进入”开发目录”菜单,点击”新建任务”按钮,并填写新建任务弹出框中的配置项,配置项说明:

  1. 任务名称:需输入英文字母、数字、下划线组成,不超过64个字符。
  2. 任务类型:选择SparkSQL。
  3. 存储位置:在页面左侧的任务存储结构中的位置。
  4. 描述:长度不超过200个的任意字符。 点击”保存”,弹窗关闭,即完成了新建任务。

编辑任务代码

任务创建好后,可以在代码编辑器中编写SQL语句(SparkSQL语法与Hive SQL基本相同,与传统关系型数据库的SQL语法有所不同,详细的SQL编辑说明请 Hive SQL的编码说明) 编写的SQL语句示例如下:

  1. select * from table_test;
tip

查询结果最多只展示5000条数据

配置节点任务的调度属性

taier 提供了丰富的时间周期和依赖关系支持,并提供了基于时间的系统参数和自定义参数支持 代码和参数配置调试完毕后,一个周期任务需要提交以后才会触发调度系统按配置周期定时产生运行实例并执行代码 为使周期任务运行并在每次运行时适应上下文环境,需要配置周期属性和各项参数

运行任务

在当前任务打开的状态下,选择想要执行的部分语句,单击编辑器右上角的「运行」按钮,可触发选定代码执行。如果不选择部分代码,而是直接单击「运行」,则会默认运行当前任务的全部代码

数据同步任务

新建数据同步任务

进入”开发目录”菜单,点击”新建任务”按钮,并填写新建任务弹出框中的配置项,配置项说明:

  1. 任务名称:需输入英文字母、数字、下划线组成,不超过64个字符。
  2. 任务类型:选择数据同步。
  3. 存储位置:在页面左侧的任务存储结构中的位置。
  4. 描述:长度不超过200个的任意字符。 点击”保存”,弹窗关闭,即完成了新建任务。

数据同步任务配置

数据同步任务的配置共分为5个步骤:

  1. 选择数据来源:选择已配置的数据源,系统会读取其中的数据;
  2. 选择数据目标:选择已配置的数据源,系统会向其写入数据;
  3. 字段映射:配置数据来源与数据目标之间的字段映射关系,不同的数据类型在这步有不同的配置方法;
  4. 通道控制:控制数据同步的执行速度、错误数据的处理方式等;
  5. 预览保存:再次确认已配置的规则并保存。

运行任务

在当前任务打开的状态下,单击编辑器右上角的「运行」按钮,可触发数据同步任务的运行