数据流 - 状态持久性规范答案

【问题标题】：Dataflow - State persistence specs数据流 - 状态持久性规范
【发布时间】：2021-12-18 11:24:57
【问题描述】：

我们正在考虑使用 Beam/Dataflow 进行状态处理。我们知道状态持久性由 Windmill/Persistent Disks [1] 管理。

他们是否知道这种持久性技术与替代技术（例如 RocksDB for Flink）的局限性？

谢谢！

【问题讨论】：

Windmill DB 是什么意思，我不清楚，您能更好地解释或添加一些参考吗？关于 Beam 和 Flink 的使用，首先要明确 Sdk/Runners/Engines 的概念，因为不知何故，你可以同时使用这两者。这篇文章对此有很好的澄清Apache Beam: How Beam Runs on Top of Flink
@ewertonvsilva 好的，我先问一下状态持久性是如何管理的：stackoverflow.com/questions/69837451/dataflow-state-persistence

【解决方案1】：

Apache Beam 实际上并不执行管道。我表达了管道的语义，并提供了一个用于描述用户代码的 SDK。但是 Apache Beam 旨在运行在任何运行器上，例如：

这实际上是 Beam 的主要吸引力之一 - 它是可移植的，并且将管道语义与执行环境分开。

关于风车：

Windmill 是在流式 Dataflow 作业中在用户虚拟机上运行的进程。它负责执行worker之间的流式shuffle，持久化和维护管道状态的一致性。

风车和磁盘上的持久存储是一回事。 Windmill 将管道状态存储在永久磁盘上。

用户可以在使用 --diskSizeGb 启动管道时选择指定磁盘大小。重新加载作业时，先前作业的磁盘将转移到新作业。你可以看到Stack about it here。

关于 Flink，是另一个 runner 所以，Dataflow 和 Flink 是不同的运行器。 RockDB 也使用磁盘存储，使用它的优势可能会有所不同，this article 提供了一些关于它的说明。

总而言之，这两种方法都将使用磁盘存储和其他方式，并且对使用的磁盘类型、环境有很大的依赖性。这不是一个简单的比较，如果真的很重要，我建议你测试两个环境。

【讨论】：

感谢您的澄清。你介意 1) 将你的答案移到这张票上，因为它更通用：stackoverflow.com/questions/69837451/dataflow-state-persistence 2) 添加 Windmill 的引用。那我给你+1。谢谢！
嗨，我也可以在那里发布答案，但请考虑为您使用option that most represent the impact of this answer。删除此答案对社区没有用处。关于参考，不幸的是在非公开文件中。
当然，虽然这张票的目的是为了更清楚地了解利弊。也很高兴在这里得到您的意见；）此外，请随时添加您对配置 (stackoverflow.com/questions/69835758/dataflow-state-db-config) 和可能的替换 (stackoverflow.com/questions/69835768/…) 的意见。