Beam 中是否有 groupbykey 功能答案

【问题标题】：Does groupbykey functionality in BeamBeam 中是否有 groupbykey 功能
【发布时间】：2017-10-31 17:37:07
【问题描述】：

我们需要使用 groupbykey 来实现功能

KV>like

KV >

请问 groupbykey 在 Spark runner 中是否有效。根据能力矩阵不支持，但根据以下链接支持。

谢谢

【问题讨论】：

【解决方案1】：

如果您在能力矩阵上按“展开详细信息”，您可以看到 Spark runner 支持 GroupByKey 并带有注释：

部分：在批处理模式下完全支持

使用 Spark 的groupByKey。在流模式下具有多个触发器触发的 GroupByKey 正在进行中。

【讨论】：

展开详细信息按钮看起来不像一个链接。我和我的同事被蒙上眼睛，得出的结论是 Spark 不支持 groupbykey。
同意，我确实见过更好看的按钮。该网站与 Beam 本身一样，是开源的并且对贡献开放，我认为这个小部件位于 github.com/apache/beam-site/blob/asf-site/src/_includes/… 和附近的 css 文件中。