用 HiveQL 和 Spark 中的列的平均值填充空值

Question

我在 spark 中使用 HiveQL，希望通过 spark 中的列的平均值填充空值。

使用以下代码：

    StringBuilder query = new StringBuilder("select `ts0` as ts ");
    String[] cols = dataFrame.columns();

    for (String col : cols) {
            query.append(",`" + col + "` as " + trimmedCol);
        }

    }

我认为当有空值时我应该使用“case”命令。谁能指导我上面的操作？

Answer 1

你可以试试这个

scala> val df = sqlContext.read.format("com.databricks.spark.csv").option("header","true").option("inferSchema","true").load("na_test.csv")


scala> df.show()

scala> df.na.fill(10.0,Seq("age"))


scala> df.na.fill(10.0,Seq("age")).show




scala> df.na.replace("age", Map(35 -> 61,24 -> 12))).show()