如何使火花数据框列无效[重复]

Question

我正在使用 Scala 编程语言。我想取消整列数据框。

如果这不可能，那么我至少想放一个空字符串

以上两种方法的有效方法是什么？

注意：我不想添加新列，但我想对现有列进行操作

谢谢

Answer 1

您可以直接使用.withColumn与相同的列名和spark replaces列。

import org.apache.spark.sql.functions._
val df=Seq(("1","a"),("2","b")).toDF("id","name")
df.show()
//+---+----+
//|id |name|
//+---+----+
//|1  |a   |
//+---+----+

val df1=df.withColumn("id",lit(null)) //to keep null value for id column
df1.show()
//+----+----+
//|id  |name|
//+----+----+
//|null|a   |
//+----+----+

val df2=df.withColumn("id",lit("")) //to keep empty string "" value for id column
df2.show()

//+---+----+
//|id |name|
//+---+----+
//|   |a   |
//+---+----+