显示单个火花列时“列”对象不可调用答案

【问题标题】：`'Column' object is not callable` when showing a single spark column显示单个火花列时“列”对象不可调用
【发布时间】：2019-01-20 00:12:09
【问题描述】：

我是 spark 新用户，之前是 pandas 背景。这是我的 Spark 数据框

In[75]:  spDF
Out[75]: DataFrame[customer_id: string, name: string]

当我show他们时

In[75]:  spDF.show()
Out[75]:

+-----------+-----------+
|customer_id|       name|
+-----------+-----------+
|      25620| MCDonnalds|
|      25620|  STARBUCKS|
|      25620|        nan|
|      25620|        nan|
|      25620| MCDonnalds|
|      25620|        nan|
|      25620| MCDonnalds|
|      25620|DUNKINDONUT|
|      25620|   LOTTERIA|
|      25620|        nan|
|      25620| MCDonnalds|
|      25620|DUNKINDONUT|
|      25620|DUNKINDONUT|
|      25620|        nan|
|      25620|        nan|
|      25620|        nan|
|      25620|        nan|
|      25620|   LOTTERIA|
|      25620|   LOTTERIA|
|      25620|  STARBUCKS|
+-----------+-----------+
only showing top 20 rows

然后我尝试只查询列

In[76]:  spDF['name']
Out[76]: Column<b'name'>

但是当我展示它们时，我得到了以下错误。

In[79]: spDF['name'].show()
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-79-f6676d5e5ca2> in <module>()
----> 1 spDF['name'].show()

TypeError: 'Column' object is not callable

任何人都有想法，这是什么错误？

【问题讨论】：

标签： python pandas dataframe pyspark

【解决方案1】：

试试

所以 spDF.select('colname').show()

【讨论】：

【解决方案2】：

你也可以试试：

import pyspark
from pyspark.sql import SparkSession

sc = pyspark.SparkContext('local[*]')
spark = SparkSession.builder.getOrCreate()
.
.
.
spDF.createOrReplaceTempView("space")
spark.sql("SELECT name FROM space").show()

前两行对于在本地机器上尝试这个 sn-p 的人来说是可选的。

【讨论】：