SPARK SQL：在 order By 之后 group By 是否保持该顺序？答案

【问题标题】：SPARK SQL: does groupBy after orderBy maintain that order?SPARK SQL：在 order By 之后 group By 是否保持该顺序？
【发布时间】：2021-03-03 16:09:12
【问题描述】：

我有火花 2.3.0。在本例中，orderBy 之后的 groupBy 是否保持该顺序？

id date       name
1  2020-10-01 name1
1  2020-09-01 name2
1  2020-11-01 name3

这是代码：

df
  .orderBy(col("date"))
  .groupBy(col("id"))
  .agg(
    first(col("name"))
  ).show()

我期望的结果：

id name
1  name2

我在旧帖子中读到没有维护订单。但我做了一些测试，排序保持不变。

【问题讨论】：

你能考虑接受这个答案吗？

标签： scala hive apache-spark-sql

【解决方案1】：

不，它没有，没有没有保证。

由于 groupBy 的 Shuffle 和 hashing 意味着 ordering 与前面的 orderBy 不同。应该在之后进行。这是新旧帖子给出的。

【讨论】：