Spark Scala - 处理空数据帧

Question

我有一个特定的要求，我需要检查空的 DataFrame。如果为空，则填充默认值。这是我尝试过的，但没有得到我想要的。

def checkNotEmpty(df: org.apache.spark.sql.DataFrame, col: String):org.apache.spark.sql.DataFrame = 
 {
 if (!df.rdd.isEmpty())  df
    else
  df.na.fill(0, Seq(col))
 }

val age = checkNotEmpty(w_feature_md.filter("age='22'").select("age_index"),"age_index")

我们的想法是如果 df 不为空，则获取它。如果为空，则填写默认值零。这似乎不起作用。以下是我得到的。

scala> age.show
+---------+
|age_index|
+---------+
+---------+

请帮忙..

Answer 1

  def checkNotEmpty(df: org.apache.spark.sql.DataFrame, col: String):org.apache.spark.sql.DataFrame = 
     {
     if (!df.rdd.isEmpty())  df
        else
      df.na.fill(0, Seq(col))
     }

在你的方法中：

如果 df is not empty ，则控制转到 if 部分。

当df is empty 时转到else 部分。

df.na (org.apache.spark.sql.DataFrameNaFunctions) ：处理 DataFrame 中缺失数据的功能。
由于您使用的是 df.na on an empty dataframe ，因此没有可替换的内容，因此结果始终为 empty。

查看ques 了解有关替换 df 中的空值的更多信息。