Apache Flink：在运行时从外部更改状态参数

Question

我目前正在开发流式 ML 管道，并且只需要一次事件处理。我对 Flink 很感兴趣，但我想知道是否有任何方法可以从外部更改/更新执行状态。

ml 算法状态由 Flink 保存，这没关系，但考虑到我想在运行时更改一些执行参数，我找不到可行的解决方案。基本上，一个外部 webapp（在 GO 中）用于调整参数，变化应该反映在 Flink 中以供后续事件使用。

我想过：

• 与 pub/sub 共享的 Redis（因为轮询每个事件会降低吞吐量）
• 在 Go 中编写自定义解决方案：D
• ...

状态将通过密钥保存，与来自 Kafka 的多个事件流之一的源相关。

谢谢

Answer 1

您可以使用CoMapFunction/CoFlatMapFunction 来实现您所描述的。其中一个输入是正常数据输入，而在另一个输入上您会收到状态更改命令。这可能是通过专门的 Kafka 主题最容易获取的。