【发布时间】:2016-05-18 14:02:49
【问题描述】:
我目前在尝试保存从 Apache Spark temp table 到分布式 MemSQL 加载的 Apache Spark DataFrame 时遇到问题database。
诀窍是我暂时不能使用MemSQLContext 连接器。所以我使用 JDBC driver。
这是我的代码:
//store suppliers data from temp table into a dataframe
val suppliers = sqlContext.read.table("tmp_SUPPLIER")
//append data to the target table
suppliers.write.mode(SaveMode.Append).jdbc(url_memsql, "R_SUPPLIER", prop_memsql)
这是错误消息(在suppliers.write 语句期间出现):
java.sql.SQLException: Distributed tables must either have a PRIMARY or SHARD key.
注意: R_SUPPLIER
table与 temptable具有完全相同的fields和datatypes并具有primary key集。
仅供参考,这里有一些线索:
-
R_SUPPLIER
script:`CREATE TABLE R_SUPPLIER ( SUP_ID INT NOT NULL PRIMARY KEY, SUP_CAGE_CODE CHAR(5) NULL, SUP_INTERNAL_SAP_CODE CHAR(5) NULL, SUP_NAME VARCHAR(255) NULL, SHARD KEY(SUP_ID) );` -
suppliers.write语句已经工作过一次,但随后在DataFrame使用sqlContext.read.jdbc命令而不是sqlContext.sql加载数据(数据是存储在一个遥远的database中,而不是在 Apache Spark 本地 temptable)。
请问有人遇到过同样的问题吗?
【问题讨论】:
标签: scala apache-spark singlestore