Pyspark 中的数据框答案

【问题标题】：Dataframe in PysparkPyspark 中的数据框
【发布时间】：2020-04-22 19:18:28
【问题描述】：

我只是从数据框中删除一列。它被丢弃了。调用 show 方法后，数据框中似乎没有删除列。

代码：

df.drop('Salary').show()

+-----+
| Name|
+-----+
| Arun|
|  Joe|
|Jerry|
+-----+

df.show()
+-----+------+
| Name|Salary|
+-----+------+
| Arun|  5000|
|  Joe|  6300|
|Jerry|  9600|
+-----+------+

我使用的是 spark 2.4.4 版本。你能告诉它为什么没有掉吗？而且我认为它就像 oracle 数据库中的一个删除列表单。

【问题讨论】：

标签： apache-spark pyspark bigdata

【解决方案1】：

drop 方法返回一个新的 DataFrame。原来的df 没有被这个转换改变，所以第二次调用df.show() 将返回带有Salary 列的原始数据。

【讨论】：

它不会改变DataFrame，它会创建一个新的，保持df不变

【解决方案2】：

你需要在删除后保存数据帧。

df2 = df.drop('Salary')
df2.show()

【讨论】：