监控检查点

概览

Flink的Web界面提供了一个监视作业检查点的选项卡。作业终止后,这些统计数据也可用。有四个不同的选项卡可显示有关检查点的信息:概述,历史记录,摘要和配置。以下部分将依次介绍所有这些内容。

监控

概述选项卡

概述选项卡列出以下统计信息。请注意,这些统计信息不会在JobManager丢失后继续存在,并在JobManager故障转移时重置为。

  • 检查点计数
    • 触发:自作业启动以来已触发的检查点总数。
    • 进行中:当前正在进行的检查点数量。
    • 已完成:自作业开始以来成功完成的检查点总数。
    • 失败:自作业启动以来失败的检查点总数。
    • 已还原:自作业启动以来的还原 算子操作数。这也告诉您自提交以来作业重启的次数。请注意,使用保存点的初始提交也会计为还原,如果JobManager在 算子操作期间丢失,则会重置计数。
  • 最新完成的检查点:最新成功完成的检查点。单击More details可为您提供详细的统计信息,直至子任务级别。
  • 最新失败的检查点:最新的失败检查点。单击More details可为您提供详细的统计信息,直至子任务级别。
  • 最新保存点:最新触发的保存点及其外部路径。单击More details可为您提供详细的统计信息,直至子任务级别。
  • 最新还原:有两种类型的还原 算子操作。
    • 从检查点恢复:我们从常规定期检查点恢复。
    • 从保存点恢复:我们从保存点恢复。

历史选项卡

检查点历史记录保存有关最近触发的检查点的统计信息,包括当前正在进行的检查点。

检查点监控:历史
- ID:触发​​的检查点的ID。每个检查点的ID都会增加,从1开始。- 状态:检查点的当前状态,正在进行中(),完成(),或失败()。如果触发的检查点是保存点,您将看到一个 符号。- 触发时间:在JobManager中触发检查点的时间。- 最新确认:在JobManager上收到最新确认的任何子任务的时间(如果尚未收到确认,则为n / a)。- 端到端持续时间:从触发时间戳到最近确认的持续时间(如果尚未收到确认,则为n / a)。完整检查点的端到端持续时间由确认检查点的最后一个子任务确定。这个时间通常比单个子任务需要实际检查点状态要大。- 状态大小:所有已确认子任务的状态大小。- 在对齐期间缓冲:在对齐所有已确认子任务期间缓冲的字节数。如果在检查点期间发生流对齐,则此值仅为> 0。如果检查点模式是ATLEAST_ONCE这将始终为零,因为至少一次模式不需要流对齐。#### 历史大小配置您可以通过以下配置键配置记住历史记录的最近检查点的数量。默认是10
  1. # Number of recent checkpoints that are rememberedweb.checkpoints.history: 15
### 摘要选项卡摘要计算在对齐期间缓冲的端到端持续时间,状态大小和字节的所有已完成检查点的简单最小/平均/最大统计数据(有关这些含义的详细信息,请参阅历史记录)。
检查点监控:摘要
请注意,这些统计信息不会在JobManager丢失后继续存在,并在JobManager故障转移时重置为。### 配置选项卡配置列出您的流配置:- 检查点模式
正好一次至少一次。- 间隔:配置的检查点间隔。在此时间间隔内触发检查点。- 超时:超时后,JobManager取消检查点并触发新的检查点。- 检查点之间的最小暂停:检查点之间所需的最小暂停时间。检查点成功完成后,我们至少等待这段时间才能触发下一个检查点,这可能会延迟定期间隔。- 最大并发检查点:可以同时进行的最大检查点数。- 外部持久检查点:启用或禁用。如果启用,则还列出外部化检查点的清除配置(删除时取消或保存)。### 检查点详细信息单击检查点的“ 更多详细信息”_链接时,将获得所有 算子的“最小/平均/最大”摘要以及每个子任务的详细数字。
检查点监控:详细信息

每个算子摘要

检查点监控:详细信息摘要

所有子任务统计

检查点监控:子任务