防止谷歌数据流融合的最佳方法？

Question

发件人：https://cloud.google.com/dataflow/service/dataflow-service-desc#preventing-fusion

您可以在第一个 ParDo 之后插入 GroupByKey 并取消组合。 Dataflow 服务从不跨聚合融合 ParDo 操作。

这是我在 python 中想出的——这合理吗/有没有更简单的方法？

def prevent_fuse(collection):
    return (
        collection
        | beam.Map(lambda x: (x, 1))
        | beam.GroupByKey()
        | beam.FlatMap(lambda x: (x[0] for v in x[1]))
        )

编辑，回应 Ben Chambers 的问题

我们希望防止融合，因为我们有一个集合会生成一个更大的集合，并且我们需要跨更大的集合进行并行化。如果它融合了，我只会在更大的集合中找到一名工人。

Answer 1

Apache Beam SDK 2.3.0 添加了实验性的Reshuffle 转换，这是@BenChambers 提到的Reshuffle.viaRandomKey 操作的Python 替代方案。您可以使用它来代替您的自定义 prevent_fuse 代码。

Answer 2

应该可以。还有其他方法，但它们部分取决于您要做什么以及为什么要阻止融合。请记住，融合是提高管道性能的一项重要优化。

您能否详细说明为什么要阻止融合？

Answer 3

对我原来的提议做一个小调整——如果每个项目都太大，那会失败就会失败。您需要将它们强制为多个项目，因此使用常量键不起作用。所以在这里，你可以提供一个key 函数，它需要区分对象并且很小，就像一个哈希一样。

也就是说，仍然不确定这是最好的方法，或者更简单的方法 (beam.Partition?) 是否可行。并且对于 Beam 提供显式原语会很有好处。

def prevent_fuse(collection, key=None):
    """
    prevent a dataflow PCol fusing with the next PCol
    supply a key function if the items are too big to use as keys
    """

    key = key or (lambda x: x)

    return (
        collection
        | beam.Map(lambda v: (key(v), v))
        | beam.GroupByKey()
        | beam.FlatMap(lambda kv: (v for v in kv[1]))
        )