spark数据框如何使用java获取最新的n行

Question

我是 Spark 的新手。现在我正在尝试将两个 DataFrame 连接在一起。我想将我的数据框保持在 5000 行中。由于我的第一个数据框已经有 5000 行，我需要获得最新的 4000 行，因为我的第二个数据框有 1000 行。有人可以帮助我如何在第一个数据框中获取具有最新 4000 行的数据框吗？提前致谢。

Answer 1

我不确定您真正希望通过这种方式实现什么，但如果您使用的是 Spark 1.5，您可以使用 monotonicallyIncreasingId 执行类似的操作：

val df4000 = df.sort(monotonicallyIncreasingId().desc).limit(4000)

它将按数据框中每一行的 ID 降序排序，然后将结果限制为前 4000 个。

否则，您可以使用任何您知道会持续增加的列来执行相同的操作。