Apache flink：从 RocksDB 后端的保存点延迟加载

Question

我们希望将 Apache Flink 与 RocksDB 后端 (HDFS) 一起用于有状态流处理。但是，我们的应用程序状态（键控状态）将以 TB 为单位。

据我了解，当我们从保存点恢复作业时，所有操作员状态数据都将从 HDFS 上的保存点位置传送到每个任务管理器。如果状态是 TB 级，那么如果所有这些状态都需要转移，那么每次部署都会导致很长的停机时间。

我想了解，如果是 RocksDB，是否可以配置延迟加载，其中在需要时从 HDFS 检索 keyed state，然后缓存在本地磁盘上。

谢谢！

Answer 1

如果你使用 RocksDB 并配置你的 Flink 集群使用本地恢复，你可以阅读 here，那么 RocksDB 文件的副本将保存在每个任务管理器的本地磁盘上，恢复几乎是立即的（除了必须启动的任何新节点）。

但是，这并不真正适用于保存点，因为这种机制需要增量快照才能真正发挥作用。

您可能想阅读整个文档页面，大约是 how to configure and tune applications that use large amounts of state。