在“DataFrame API”中，如何显示所有行？答案

【问题标题】：In "DataFrame API" , how show all rows?在“DataFrame API”中，如何显示所有行？
【发布时间】：2020-11-28 16:57:02
【问题描述】：

我的代码（仅示例）

bikedf.groupBy("Bike #").agg(
    count("Trip ID").alias("number")).\
sort(desc("number")).show()

我使用 jupiter 笔记本。

在某种情况下，结果只显示前 20 行。

如何显示不是 20 行，而是所有行？

【问题讨论】：

我很想将其作为 Is there better way to display entire Spark SQL DataFrame? 的副本关闭，因为如果您可以显示所有行，那么您可能不应该一开始就使用 spark。

标签： dataframe pyspark

【解决方案1】：

使用collect 代替show：

print(bikedf.groupBy("Bike #")
            .agg(count("Trip ID").alias("number")
            .sort(desc("number"))
            .collect())

如果你想要漂亮的打印，你可以这样做

output = bikedf.groupBy("Bike #") \
               .agg(count("Trip ID").alias("number") \
               .sort(desc("number"))
output.show(output.count())

【讨论】：

【解决方案2】：

您可以设置要显示的行数。您也可以在 show 函数中设置不截断输出设置 False。要显示 200 列：

bikedf.groupBy("Bike #").agg(
    count("Trip ID").alias("number")).\
sort(desc("number")).show(200, False)

【讨论】：