【问题标题】:sbt unresolved dependency for spark streaming Kafka integrationsbt 未解决的火花流 Kafka 集成依赖项
【发布时间】:2018-02-08 04:25:37
【问题描述】:

我想使用用于 Spark 流的 Kafka 集成。我使用 Spark 2.0.0 版。

但是我得到一个未解决的依赖错误(“未解决的依赖:org.apache.spark#spark-sql-kafka-0-10_2.11;2.0.0: not found”)。

我怎样才能访问这个包?还是我做错了什么/遗漏了什么?

我的 build.sbt 文件:

name := "Spark Streaming"
version := "0.1"
scalaVersion := "2.11.11"
val sparkVersion = "2.0.0"

libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-core" % sparkVersion,
    "org.apache.spark" %% "spark-sql" % sparkVersion,
    "org.apache.spark" %% "spark-streaming" % sparkVersion,
    "org.apache.spark" %% "spark-sql-kafka-0-10" % sparkVersion
)
libraryDependencies += "org.apache.spark" % "spark-streaming_2.11" % "2.0.0-preview"

感谢您的帮助。

【问题讨论】:

  • 接受的答案是否为您工作。我又遇到了同样的错误。

标签: scala sbt spark-streaming spark-streaming-kafka


【解决方案1】:

https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10_2.11

libraryDependencies += "org.apache.spark" % "spark-streaming-kafka-0-10_2.11" % "2.0.0"

【讨论】:

    猜你喜欢
    • 2018-12-22
    • 1970-01-01
    • 2014-12-19
    • 2014-12-17
    • 2016-06-19
    • 2017-07-15
    • 1970-01-01
    • 2015-12-19
    • 2018-06-18
    相关资源
    最近更新 更多