【问题标题】:Sharing Beam State共享光束状态
【发布时间】:2022-09-24 06:48:55
【问题描述】:

Beam State 是否在不同的 DoFns 之间共享?

假设我有 2 个 DoFns:

  • StatefulDoFn1:{ myState.write(1)}
  • StatefulDoFn2: { myState.read() ;做点什么...输出}

然后是伪代码中的管道:

pipline = readInput.........applyDoFn(StatefulDoFn1)......map{做其他事情}.......applyDoFn(StatefulDoFn2)

如果我在两个 StatefulDoFns 中对 myState 进行相同的注释 - 我在 StatefulDoFn1 中写的内容对 StatefulDoFn2 是否可见,我们实现了一个管道,假设答案是 Yes ---- 但似乎不是

    标签: google-cloud-dataflow pipeline apache-beam beam


    【解决方案1】:

    不,状态对于每个有状态的DoFn 来说是本地的,而且它实际上对于DoFn 内部的每个键(和窗口,如果您使用的是窗口)也是本地的。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2023-03-22
      • 1970-01-01
      • 2019-10-07
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-04-05
      • 2010-11-12
      相关资源
      最近更新 更多