是否可以在 Apache Beam 中的窗口之间传输状态

Question

根据 Apache 梁文档： https://beam.apache.org/documentation/programming-guide/#state-and-timers

All state for a key is scoped to the current window. This means that the first time a key is seen for a given window any state reads will return empty, and that a runner can garbage collect state when a window is completed.

我有一个用例，当前窗口的输出需要被下一个窗口访问。

窗口是固定的 5 秒窗口，并执行计算以输出此窗口内覆盖的总距离。我需要将此距离添加到下一个窗口总数中。目前我通过将总数写入数据库并在下一个窗口中读取来实现这一点，但这会大大减慢处理速度。

所以我的问题是，状态是否可以在窗口之间传输。 或者我是否必须在总体全局窗口内设置一个 5 秒窗口的全局窗口？ 这可能吗？

Answer 1

据我所知，没有办法在窗口之间传输状态，如果有某种形式的解决方法，我不会推荐它，因为它违反了 Beam 模型并且可能会出现意外行为。

但是，在坚持 Beam 模型的同时获得您想要的结果应该不会太难。具体细节可能取决于您打算如何使用总距离，但第一步保持不变：将窗口切换回全局窗口，以便我们可以聚合所有元素。

Java 示例：

PCollection<Integer> distances = ... // The windowed distances.
PCollection<Integer> globalDistances =
        distances.apply(Window.<Integer>into(new GlobalWindows()));

现在距离在一个全局窗口中，下面的变换取决于你想要的结果。

选项 1：与触发器组合。 一种简单的方法是使用像 Sum 这样的组合来累加所有距离，同时向窗口添加一个重复触发器以尽早重复触发，从而得到结果定期更新。这主要是 Streaming 管道的解决方案，因为早期触发触发器在 Batch 管道中无效。详情请参阅编程指南的Triggers section。

Java 示例：

// Window fires a pane on every 10 elements received.
PCollection<Integer> globalDistances =
        distances.apply(Window.<Integer>into(new GlobalWindows())
                .triggering(Repeatedly.forever(AfterPane.elementCountAtLeast(10))));
PCollection<Int> summed = globalDistances.apply(Sum.integersGlobally())

选项 2：通过州求和。 另一个选项更接近您的初衷。使用状态编写自定义 DoFn，例如 CombiningState，对接收到的每个元素求和并输出当前总和。这会将求和的每个步骤作为一个单独的元素输出，而不必处理早期触发窗格或类似的事情。如果您明确需要为求和的每个步骤使用单独的元素，或者如果您有批处理管道并且不能使用触发器，则这是最佳选择。