将 Java ResultSet 转换为 Spark DataFrame答案

【问题标题】：Convert Java ResultSet to Spark DataFrame将 Java ResultSet 转换为 Spark DataFrame
【发布时间】：2017-03-25 04:12:44
【问题描述】：

我使用 pandas 在 Python 中操作数据。

我浏览了 Spark 的 DataFrame，并希望将这个结构用于我正在用 Java 开发的程序。

我在 SQL Server 中有我的数据，我在 ResultSet 中有 SQL 结果。我想把它转换成DataFrame

如何进行这种转换？有没有更简单的方法将 SQL 结果直接转换为 DataFrame？

编辑：我尝试通过以下详细信息通过 SparkSession 连接 SQL Server

   public static SparkSession spark = SparkSession
        .builder()
           .master("local[*]")
        .appName("Java Spark SQL basic example")
        .getOrCreate();

    Map<String, String> options = new HashMap<String, String>();
    options.put("url", "jdbc:jtds:sqlserver://<clipped>");
    spark.read().format("jdbc").options(options).load();

    Dataset<Row> sqlDF = spark.sql("SELECT TOP 1 * FROM HEDE);

现在我收到Exception in thread "main" java.lang.RuntimeException: Option 'dbtable' not specified 我如何/在哪里可以指定表格？

【问题讨论】：

标签： java sql-server apache-spark resultset spark-dataframe

【解决方案1】：

您可以在选项中指定表格：

options.put("dbtable", "some_table");

或使用 JDBC 方法：

spark.read().jdbc("jdbc:jtds:sqlserver://<clipped>", "some_table", properties)

其中properties 是java.util.Properties。

【讨论】：