Spark Cassandra 连接器问题答案

【问题标题】：Spark Cassandra Connector IssueSpark Cassandra 连接器问题
【发布时间】：2018-06-25 20:51:14
【问题描述】：

我正在尝试将 Cassandra 与 Spark 集成并面临以下问题。

问题：

com.datastax.spark.connector.util.ConfigCheck$ConnectorConfigurationException：配置变量无效使用 Spark Cassandra 连接器时，只允许使用已知的 spark.cassandra.* 变量。 spark.cassandra.keyspace 不是有效的 Spark Cassandra 连接器变量。可能的匹配： spark.cassandra.sql.keyspace spark.cassandra.output.batch.grouping.key 在 com.datastax.spark.connector.util.ConfigCheck$.checkConfig(ConfigCheck.scala:50) 在 com.datastax.spark.connector.cql.CassandraConnectorConf$.apply(CassandraConnectorConf.scala:253) 在 org.apache.spark.sql.cassandra.CassandraSourceRelation$.apply(CassandraSourceRelation.scala:263) 在 org.apache.spark.sql.cassandra.CassandraCatalog.org$apache$spark$sql$cassandra$CassandraCatalog$$buildRelation(CassandraCatalog.scala:41) 在 org.apache.spark.sql.cassandra.CassandraCatalog$$anon$1.load(CassandraCatalog.scala:26) 在 org.apache.spark.sql.cassandra.CassandraCatalog$$anon$1.load(CassandraCatalog.scala:23)

请找到我正在使用的以下版本的 spark Cassandra 和连接器。

火花：1.6.0 卡桑德拉：2.1.17 使用的连接器：spark-cassandra-connector_2.10-1.6.0-M1.jar

下面是我用来从 spark 连接 Cassandra 的代码 sn-p。

val conf: org.apache.spark.SparkConf = new SparkConf(true) \
            .setAppName("Spark Cassandra") \
            .set"spark.cassandra.connection.host", "abc.efg.lkh") \
            .set("spark.cassandra.auth.username", "xyz") \
            .set("spark.cassandra.auth.password", "1234") \
            .set("spark.cassandra.keyspace","abcded")

val sc = new SparkContext("local[*]", "Spark Cassandra",conf)

val csc = new CassandraSQLContext(sc)
csc.setKeyspace("abcded")

val my_df = csc.sql("select * from table")

当我尝试创建 DF 时，我遇到了已发布的错误。我尝试在 conf 中不传递架构，但它试图在提到的用户无权访问的默认架构中访问。

已经打开和关闭了一个 JIRA。 https://datastax-oss.atlassian.net/browse/SPARKC-102

但我遇到了这个问题。请告诉我是否需要使用最新的连接器来解决此问题。

提前致谢。

【问题讨论】：

标签： spark-cassandra-connector cassandra-3.0

【解决方案1】：

重要信息在您发布的错误消息中[为便于阅读而格式化]：

无效的配置变量

在使用 Spark Cassandra 连接器时，只允许使用已知 spark.cassandra.* 变量。

spark.cassandra.keyspace 不是有效的 Spark Cassandra 连接器变量。

可能的匹配：spark.cassandra.sql.keyspace

spark.cassandra.keyspace 不是连接器的可用属性。可在此处找到可用属性的完整列表：https://github.com/datastax/spark-cassandra-connector/blob/master/doc/reference.md

使用建议的spark.cassandra.sql.keyspace 可能会有一些运气；否则，您可能只需要为使用连接器执行的每个 Cassandra 交互显式指定键空间。

【讨论】：