名称解释

名词解释

Flink

Apache Flink,一种分布式、高性能、高可用且准确的开源流处理框架

UDF

User Defined Function,用户自定义函数,通常适用于SQL任务

Spark

Apache Spark,一种开源的,专为大规模数据处理而设计的快速通用的计算引擎

DAG

DAG: 全称Directed Acyclic Graph,简称DAG。如果一个有向图从任意顶点出发无法经过若干条边回到该点,则这个图是一个有向无环图。任务可以通过上下游以有向无环图的形式组装起来

任务

指用户在Taier中开发的具体任务, 如Spark SQL 或数据同步任务

实例

实例是根据任务配置的周期实例生成的实例任务

上下游任务

A任务成功的执行完成后,B、C任务才可以执行,这种行为称之为B、C依赖于A;在这个例子中,A是B、C的上游任务,B、C是A的下游任务。

杀任务

终止某个任务实例的运行

重跑任务

重新运行某个任务

补数据

当任务由于某些原因,修改了业务逻辑时,或发生异常,用户希望对以前的数据重新进行计算,此时会使用补数据功能,即手动配置任务的数据源时间段,令其再次运行

业务日期

可理解为业务发生的日期,在Taier中,业务日期=任务的定时执行时间-1天

模块介绍

  • taier-common: 公共类模块
  • taier-dao: 数据库相关操作模块
  • taier-data-develop: 任务开发,运维中心,控制台等逻辑处理等功能模块
  • taier-scheduler: 处理任务实例生成,实例调度,dag图的维护模块
  • taier-worker: 任务提交模块
  • taier-ui: 前端模块