【问题标题】:Apache spark cassandra dataframe load errorApache spark cassandra 数据帧加载错误
【发布时间】:2020-10-30 19:08:23
【问题描述】:

我在加载 Spark-Cassandra 时出错。请帮忙!

【问题讨论】:

  • 除了图像之外,请将错误粘贴为文本 - 这将允许搜索引擎找到此问题...
  • 你能做到吗?

标签: apache-spark cassandra apache-zeppelin spark-cassandra-connector


【解决方案1】:

这是known bug in the alpha version of Spark Cassandra Connector 3.0。您需要使用本周发布的3.0.0-beta version

附:您无需在 Zeppelin 中创建 SparkSession 实例 - 它已经存在。您可以在 Interpreter 设置中设置 Cassandra 的属性,甚至在读取或写入时通过 option...

【讨论】:

  • 我更改为 3.0.0-beta 但我有一个错误 org.apache.zeppelin.interpreter.InterpreterException: java.lang.BootstrapMethodError: java.lang.NoSuchMethodError: scala.collection.TraversableOnce.$ anonfun$count$1$adapted(Lscala/Function1;Lscala/runtime/IntRef;Ljava/lang/Object;)Ljava/lang/Object;
  • 看起来您使用的是使用 Scala 2.11 编译的 Spark。如果您不能使用 Spark 3.0 功能,那么我建议将 SCC 2.5.0 与 Spark 2.x 一起使用
  • 请推荐使用 Spark 3.0 的 scala 版本?
  • 即使我有同样的问题.. zeplin 0.9 任何人都有解决方案
  • 有关 TraversableOne 的错误似乎是 scala 库的次要版本之间的不兼容。在我的例子中,Zeppelin 和 Spark 有 2.12.12,而 Cassandra 连接器有 2.12.11。从 casandra 连接器中排除 org.scala-lang:scala-library:2.12.11 似乎可以解决问题(到目前为止)
猜你喜欢
  • 1970-01-01
  • 2016-12-31
  • 2017-08-17
  • 2016-09-27
  • 2016-09-15
  • 2020-07-17
  • 2020-07-28
  • 1970-01-01
  • 2015-08-24
相关资源
最近更新 更多