配置管理

数据标签

平台支持配置三种标签,分别用于数据源、数据模型和工作流,便于分类标记筛选。

配置管理 - 图1

进入 数据集成 > 标签管理,点击 新建标签,输入标签名称,选择所属模块及对应颜色。

配置管理 - 图2

质量规则

平台支持配置应用于数据模型的质量规则,通过规则客观得到质量分数,从而监控数据质量。

配置管理 - 图3

进入 数据治理 > 质量规则,点击 新增规则,输入规则名称、规则内容并选择规则类型。

配置管理 - 图4

队列管理

为实现更精细的工作流分配和管理,平台增加了队列的概念。您可将不同的工作流划分至不同的队列中,也可为同一队列中的工作流设置优先级。

进入 数据集成 > 队列管理,点击 新建 创建队列。

配置管理 - 图5

  • CPU/内存

    指整个队列可用的资源池大小,用于 Pipeline 拉起任务时作出判断,若当前剩余 CPU/内存小于提交任务所需资源,任务需排队等待。此为虚拟队列,并非实际物理层资源大小。

    假设集群资源为 50 核 CPU,100 GB 内存,此处设置队列 CPU 为 100 核,内存 200 GB。您可以成功创建队列,Pipeline 提交的任务也可通过资源检测,但提交至 K8s 集群时,可能因为资源不足导致 Pending 状态。

    因此设置队列时,需了解当前集群的资源情况。

  • 默认优先级

    指为队列设置的基准线,未选择工作流优先级时,将使用该值作为默认值。

  • 并行度

    指 Pipeline 排队检测时,同时运行的任务数最大值。

    例如并行度为 10,则当运行任务数小于 10 时,在资源充足的情况下,队列将即刻调度排队中的任务;当运行任务数等于 10 时,需待运行中的任务结束后再行调度排队中的任务。