【问题标题】:Apache Spark - Error persisting Dataframe to MemSQL database using JDBC driverApache Spark - 使用 JDBC 驱动程序将 Dataframe 持久保存到 MemSQL 数据库时出错
【发布时间】:2016-05-18 14:02:49
【问题描述】:

我目前在尝试保存从 Apache Spark temp table 到分布式 MemSQL 加载的 Apache Spark DataFrame 时遇到问题database。 诀窍是我暂时不能使用MemSQLContext 连接器。所以我使用 JDBC driver。


这是我的代码:

//store suppliers data from temp table into a dataframe
val suppliers = sqlContext.read.table("tmp_SUPPLIER")
//append data to the target table 
suppliers.write.mode(SaveMode.Append).jdbc(url_memsql, "R_SUPPLIER", prop_memsql)

这是错误消息(在suppliers.write 语句期间出现):

java.sql.SQLException: Distributed tables must either have a PRIMARY or SHARD key.

注意: R_SUPPLIER table 与 temp table 具有完全相同的 fields 和 datatypes 并具有 primary key 集。


仅供参考,这里有一些线索:

  1. R_SUPPLIER script:

    `CREATE TABLE R_SUPPLIER 
    (
          SUP_ID INT NOT NULL PRIMARY KEY,
          SUP_CAGE_CODE CHAR(5) NULL,
          SUP_INTERNAL_SAP_CODE CHAR(5) NULL,
          SUP_NAME VARCHAR(255) NULL,
          SHARD KEY(SUP_ID)
    );`
    
  2. suppliers.write 语句已经工作过一次,但随后在DataFrame 使用sqlContext.read.jdbc 命令而不是sqlContext.sql 加载数据(数据是存储在一个遥远的database 中,而不是在 Apache Spark 本地 temp table)。

请问有人遇到过同样的问题吗?

【问题讨论】:

    标签: scala apache-spark singlestore


    【解决方案1】:

    您是否在运行 create table 或运行 supplier.write 代码时遇到该错误?这是一个只有在创建表时才会出现的错误。因此,如果您在运行suppliers.write 时碰到它,您的代码可能正在尝试创建并写入一个新表,而不是您之前创建的表。

    【讨论】:

    • 感谢您花时间回答我。 当调用suppliers.write 语句时会发生这种情况。我已经使用了这段代码并且它有效,但是DataFrame 加载了sqlContext.read.jdbc(数据存储在一个遥远的database 而不是Apache Spark temp table)...
    • 您能找出针对 memsql 运行的哪个查询产生了该错误吗?您可以通过设置general_log=ondocs.memsql.com/docs/trace-log#section-logging-queries 来尝试使用查询日志记录。我怀疑 JDBC 连接器所做的事情与预期不同。
    猜你喜欢
    • 2015-05-12
    • 2018-01-01
    • 2016-06-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-10-19
    相关资源
    最近更新 更多