Apache Spark 2.0：按降序排列到 orderBy() / sort() 列的表达式字符串

Question

我正在查看类似于以下内容的书籍示例（几乎相同）：

>>> from pyspark.sql import functions as sFn
>>>   # Note: I import Spark functions this way to avoid name collisions w/ Python.
>>>   # Usage below: sFn.expr(), sFn.col(), etc.

>>> col0 = [0, 1, 2, 3]
>>> col1 = [4, 5, 6, 7]

>>> myDF = spark.createDataFrame(zip(col0, col1),
                                 schema=['col0', 'col1'])
>>> print(myDF)
>>> myDF.show()
>>> myDF.orderBy(sFn.expr('col0 desc')).show() # <--- Problem line. Doesn't descend.

现在书籍示例声称最后一条语句将按col0 降序排列，但事实并非如此：

DataFrame[col0: bigint, col1: bigint]

+----+----+
|col0|col1|
+----+----+
|   0|   4|
|   1|   5|
|   2|   6|
|   3|   7|
+----+----+

+----+----+
|col0|col1|
+----+----+
|   0|   4|
|   1|   5|
|   2|   6|
|   3|   7|
+----+----+

然而，这种语法变体一直对我有用：

myDF.orderBy(sFn.col("col0").desc()).show()

上面有问题的变体是否是错字或勘误表？如果是错字或勘误表，需要进行哪些调整才能使其正常工作？

谢谢。

Answer 1

在sFn.expr('col0 desc') 中，desc 被翻译为别名而不是order by modifier，正如您在控制台中键入它所看到的那样：

sFn.expr('col0 desc')
# Column<col0 AS `desc`>

您可以根据需要选择其他几个选项：

 myDF.orderBy('col0', ascending=0).show()
+----+----+
|col0|col1|
+----+----+
|   3|   7|
|   2|   6|
|   1|   5|
|   0|   4|
+----+----+


myDF.orderBy(sFn.desc('col0')).show()
+----+----+
|col0|col1|
+----+----+
|   3|   7|
|   2|   6|
|   1|   5|
|   0|   4|
+----+----+

myDF.orderBy(myDF.col0.desc()).show()
+----+----+
|col0|col1|
+----+----+
|   3|   7|
|   2|   6|
|   1|   5|
|   0|   4|
+----+----+