【发布时间】:2022-09-24 06:48:55
【问题描述】:
Beam State 是否在不同的 DoFns 之间共享?
假设我有 2 个 DoFns:
- StatefulDoFn1:{ myState.write(1)}
- StatefulDoFn2: { myState.read() ;做点什么...输出}
然后是伪代码中的管道:
pipline = readInput.........applyDoFn(StatefulDoFn1)......map{做其他事情}.......applyDoFn(StatefulDoFn2)
如果我在两个 StatefulDoFns 中对 myState 进行相同的注释 - 我在 StatefulDoFn1 中写的内容对 StatefulDoFn2 是否可见,我们实现了一个管道,假设答案是 Yes ---- 但似乎不是
标签: google-cloud-dataflow pipeline apache-beam beam