有没有办法限制一个连接在 Spark 中捕获的行数？答案

【问题标题】：Is there someway to limit how much rows a join will catch in Spark?有没有办法限制一个连接在 Spark 中捕获的行数？
【发布时间】：2021-08-09 02:19:00
【问题描述】：

例如：

valjoinedTables = dataFrame.join(dataFrame2, dataFrame("key") === dataFrame2("key"))

假设这两个是大表，我想限制加入的过程，因为这些表太大了，我想在加入所有列和行之前快速测试一下。

我只想看到 10 或 20 行的连接。

【问题讨论】：

【解决方案1】：

加入前先限制

val joinedTables = dataFrame.limit(20).join(dataFrame2.limit(20), dataFrame("key") === dataFrame2("key"))

【讨论】：