带有 sbt + cassandra 连接器依赖问题的火花流答案

【问题标题】：spark streaming with sbt + cassandra connector dependency issue带有 sbt + cassandra 连接器依赖问题的火花流
【发布时间】：2017-07-15 18:00:24
【问题描述】：

伙计们，

我正在尝试将 cassandra 与火花流集成。下面是sbt文件：

 scalaVersion := "2.11.8"

libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.0.0" % "provided",
"org.apache.spark" %% "spark-streaming" % "2.0.0" % "provided",
"org.apache.spark" %% "spark-sql" % "1.6.1",
"com.datastax.spark" %% "spark-cassandra-connector" % "1.6.2",
"com.datastax.cassandra" % "cassandra-driver-core" % "3.0.0",
("org.apache.spark" %% "spark-streaming-kafka" % "1.6.0").
exclude("org.spark-project.spark", "unused")
)

我为cassandra集成添加了下面的行（下面提到的错误行）：

val lines = KafkaUtils.createDirectStream[
String, String, StringDecoder, StringDecoder](
ssc, kafkaParams, topics)

//Getting errors once I add below line in program 
lines.saveToCassandra("test", "test", SomeColumns("key", "value"))

lines.print()

添加以上行后，我在 IDE 中看到以下错误：

如果我尝试从命令提示符打包此项目，我会看到类似的错误：

FYR，我正在使用以下版本：

斯卡拉 - 2.11

卡夫卡 - kafka_2.11-0.8.2.1

java - 8

cassandra - datastax-community-64bit_2.2.8

请帮助解决问题。

【问题讨论】：

标签： scala apache-spark sbt spark-streaming spark-cassandra-connector

【解决方案1】：

正如预期的那样，这是通过更新 sbt 文件解决的依赖问题，如下所示：

scalaVersion := "2.11.8"

libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.0.0" % "provided",
"org.apache.spark" %% "spark-streaming" % "2.0.0" % "provided",
"org.apache.spark" %% "spark-sql" % "2.0.0",
"com.datastax.spark" %% "spark-cassandra-connector" % "2.0.0-RC1",
"com.datastax.cassandra" % "cassandra-driver-core" % "3.0.0",
("org.apache.spark" %% "spark-streaming-kafka" % "1.6.0").
exclude("org.spark-project.spark", "unused")
)

【讨论】：