我们可以对批处理进行窗口化吗？

Question

在 Apache Beam 文档中，我们谈到了有界 PCollection 的窗口化。

https://beam.apache.org/documentation/programming-guide/#windowing

如果我们有一个有界数据，那么所有元素都将属于同一个 GLOBAL 窗口。 在哪些用例中我们需要对批处理应用窗口化？

Answer 1

有界数据没有时间和水印的概念。所以对于批处理流水线来说，windows 只不过是 multipart key 的一部分，可以在 Grouping 时使用。

一个可能的用例是从 1 天数据的语料库中获取每小时唯一用户的列表。但是，这也可以通过应用您自己的密钥（小时）和分组来完成。

Beam 具有统一的批处理和流处理模型以及用于批处理和流处理的类似 api，因此窗口概念在批处理和流处理中都可用。