Spark DataFrame groupBy

Question

我的 Spark Java 看起来像这样。代码使用 JDBC 从 oracle 表中拉取数据并显示 groupby 输出。

DataFrame jdbcDF = sqlContext.read().format("jdbc").options(options).load();
jdbcDF.show();   
jdbcDF.groupBy("VA_HOSTNAME").count().show();

Long ll = jdbcDF.count();
System.out.println("ll="+ll);

当我运行代码时，jdbcDF.show(); 正在工作，而 groupBy 和 count 没有打印任何内容，也没有抛出任何错误。

我的列名是正确的。我尝试通过打印该列并且它有效，但是当 groupBy 它不起作用。

有人可以帮我处理DataFrame 的输出吗？我正在使用火花 1.6.3。

Answer 1

你可以试试

import org.apache.spark.sql.functions.count

jdbcDF.groupBy("VA_HOSTNAME").agg(count("*")).show()