Spark数据框删除重复项

Question

是否可以告诉 spark drop 重复项丢弃第二个而不是第一个？

scala> df.show()
+-----------+
|         _1|
+-----------+
|1 2 3 4 5 6|
|9 4 5 8 7 7|
|1 2 3 4 5 6|
+-----------+


scala> val newDf = df.dropDuplicates()
newDf: org.apache.spark.sql.DataFrame = [_1: string]

scala> newDf.show()
+-----------+                                                                   
|         _1|
+-----------+
|9 4 5 8 7 7|
|1 2 3 4 5 6|
+-----------+

Answer 1

对具有相同值的行进行排名/索引，然后删除索引/排名 > 1 的所有记录的条目。