状态和容错

状态

Kuiper 支持有状态的规则流。Kuiper 中有两种状态:

  1. 窗口操作和可回溯源的内部状态。
  2. 对流上下文扩展公开的用户状态,可参考 状态存储

容错

默认情况下,所有状态仅驻留在内存中,这意味着如果流异常退出,则状态将消失。

为了使状态容错,Kuipler 需要将状态检查点放入永久性存储中,以便在发生错误后恢复。

启用检查点

将规则选项 qos 设置为1或2将启用检查点。 通过设置 checkpointInterval 选项配置检查点间隔时间。

当在流处理应用程序中出现问题时,可能会造成结果丢失或重复。 对于 qos 的3个选项,其对应行为将是:

  1. 最多一次(0):Kuiper 不会采取任何行动从问题中恢复
  2. 至少一次(1):没有任何结果丢失,但是您可能会遇到重复的结果
  3. 恰好一次(2):没有丢失或重复任何结果

考虑到 Kuiper 通过回溯和重播源数据流从错误中恢复,将理想情况描述为恰好一次时,并不意味着每个事件都会被恰好处理一次。 相反,这意味着每个事件将只会对由 Kuiper 管理的状态造成一次影响。

如果您不需要“恰好一次”,则可以通过使用 AT_LEAST_ONCE 配置 Kuiper,进而获得一些更好的效果。

恰好一次端到端

源考虑

要获得流的端到端 qos,源必须是可回溯的。这意味着在恢复之后,可以依据检查点偏移量将源恢复,并重新发送数据,这样就可以从上次错误中重放整个流。

对于扩展源,用户必须实现 api.Rewindable 接口以及默认的 api.Source 接口。 Kuiper 将在内部处理回溯。

  1. type Rewindable interface {
  2. GetOffset() (interface{}, error)
  3. Rewind(offset interface{}) error
  4. }

目标考虑

我们不能保证目标仅接收一次数据。 如果在检查点期间发生错误,则某些已经发送到目标的状态不会被检查到。 这些状态将被重放,因为它们没有被检查而无法恢复。 在这种情况下,目标可能会多次接收它们。

要实施“恰好一次”,用户必须针对各种目标系统量身定制重复数据消除功能。