【发布时间】:2020-10-30 15:07:29
【问题描述】:
基于上图,我现在需要在两个操作员之间共享状态,来自一个 KeyedProcessFunction,它将设法处理事件并将它们从 X 类转换为 Y 类,并保持传入的状态记录以始终将 Y 类的最新信息发送到 Python 推理函数。
推理函数的结果需要映射回类 Y 并更新已在 ProcessFunction 上创建的对象的状态,然后再执行 Sink。
据我所知,RocksDB 无法进行广播状态。 “没有 RocksDB 状态后端:广播状态在运行时保存在内存中,并且应该相应地进行内存配置。这适用于所有操作员状态。”
问题:
- 当我使用 RocksDB 作为状态后端时,最好的方法是什么?
- 是否可以在
KeyedProcessFunction和RichMapFunction之间共享状态?
【问题讨论】:
标签: java apache-flink flink-streaming flink-cep