在 python 中使用带有 Apache Beam 或 Apache Flink 的草图

Question

我想将KLL sketch 用于流应用程序。问题是 KLL 草图是有状态的计算，因此不是幂等的。这可以在 Beam 或 Flink 中使用，最好是在 Python 中实现吗？

Apache Datasketch 说Integration efforts have started with Apache Flink and Apache Impala. There is also interest from Apache Beam。主要困难是什么？大多数草图在内部使用原始类型和数组。

Answer 1

您可以使用state and timers 在流式光束管道中使用它。