【问题标题】:Spark - What are the usecase for groupByKey over reduceByKeySpark - groupByKey over reduceByKey 的用例是什么
【发布时间】:2020-07-29 16:03:35
【问题描述】:

应该避免 groupByKey 并更喜欢 reduceByKey 发送优化网络带宽的理由很充分。

https://databricks.gitbooks.io/databricks-spark-knowledge-base/content/best_practices/prefer_reducebykey_over_groupbykey.html

是否存在 groupby 是真正需要而不能用 reduceByKey 解决的情况

【问题讨论】:

    标签: apache-spark rdd


    【解决方案1】:

    groupBy 更可取的一些用例。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-01-18
      • 1970-01-01
      • 2016-04-20
      • 1970-01-01
      • 2018-11-16
      相关资源
      最近更新 更多