GroupByKey 变换中可迭代的性质

Question

我正在通过 Java SDK 使用 Google Dataflow。 GroupByKey 转换在 KV PCollection 的“值”部分返回一个 Iterable。假设我们对 GroupByKey 变换的 KV 结果运行 ParDo。谁能让我知道 Iterable 对象的“性质”：Iterable 是否包含一个完全预先填充的列表，这意味着假设 Iterable 中有 1000 个整数，它会消耗 1000*sizeof(Integer) 的内存节点。或者，Iterable 是否“懒惰地”评估（类似于 Python 中的生成器），无论 Iterable 有多大，都能确保非常少的内存消耗。

Answer 1

这些可迭代对象是惰性的，至少在 Dataflow 运行器上运行时，它们允许每个键保存的数据多于内存中的数据。当您通过 Iterable 时，键的值会延迟加载到内存中。