Spark SQL在列中查找最小值并获取整行

Question

我有一个像下面这样的表，我想在 spark sql 中获取最小距离的行

我试过了

result.select($"sourceBorder", $"targetBorder", $"min(distance))").show()

这会给出错误，而 result.agg(min("distance")) 只给出距离列而不给出其他列。

+------------+------------+--------+
|sourceBorder|targetBorder|distance|
+------------+------------+--------+
|           3|          12|      20|
|           4|          12|      28|
|           2|          12|      16|
|           3|           6|      15|
|           4|           6|      19|
|           2|           6|       7|
|           3|           7|      15|
|           4|           7|      23|
|           2|           7|      11|
+------------+------------+--------+

所以最后想要这一行

|           2|           6|       7|

Answer 1

添加一列最小距离，过滤距离=最小距离的行：

result.withColumn(
    "mindistance",
    min($"distance").over(Window.orderBy("distance"))
).filter($"distance" === $"mindistance")