如何使用 spark/scala 显示列函数带来的结果，就像 show() 对数据框所做的一样答案

【问题标题】：How to display the results brough from column functions using spark/scala like what show() does to dataframe如何使用 spark/scala 显示列函数带来的结果，就像 show() 对数据框所做的一样
【发布时间】：2019-12-10 06:01:47
【问题描述】：

我刚刚开始如何在 Spark/Scala 中使用数据框和列。我知道如果我想在屏幕上显示一些东西，我可以像df.show() 那样做。但是我怎样才能对列执行此操作。例如，

scala> val dfcol = df.apply("sgan")
dfcol: org.apache.spark.sql.Column = sgan

这可以从数据框df中找到一个名为“sgan”的列，然后将其提供给dfcol，因此dfcol是一个列。那么，如果我这样做了

scala> abs(dfcol)
res29: org.apache.spark.sql.Column = abs(sgan)

我刚刚得到了上面屏幕上显示的结果。如何像 df.show() 那样在屏幕上显示此函数的结果？或者换句话说，我怎么知道abs、min等函数的结果？

【问题讨论】：

标签： scala apache-spark dataframe

【解决方案1】：

您应该始终使用数据框，Column 对象不应该以这种方式进行调查。您可以使用select 创建一个包含您感兴趣的列的数据框，然后使用show()：

df.select(functions.abs(df("sgan"))).show()

【讨论】：

非常感谢。你能告诉我这里有什么功能吗？我试过了，它仍然像 df.select(abs(df("sgan"))).show() 一样工作。所以函数不是必需的？
哦 - 如果你已经导入了org.apache.spark.sql.functions，那就没有必要了，你可以把它省略掉。
太棒了！再次感谢！