无法在 spark-shell 中连接到 Cassandra答案

【问题标题】：Cannot connect to Cassandra in spark-shell无法在 spark-shell 中连接到 Cassandra
【发布时间】：2022-04-25 01:14:12
【问题描述】：

我正在尝试使用 Spark-cassandra 连接器连接到我的 spark shell 中的远程 cassandra 集群。但它会抛出一些不寻常的错误。

我做spark-cassandra连接器的github页面上提到的通常的事情

运行外壳

$SPARK_HOME/bin/spark-shell --packages datastax:spark-cassandra-connector:2.0.0-s_2.11

导入 cassandra 连接器

导入 com.datastax.spark.connector._ 导入 org.apache.spark.sql.cassandra._ 到目前为止一切正常但是当我尝试创建一个 rdd

val rdd=sc.cassandraTable("test","user")

它抛出这个异常

    java.lang.NoClassDefFoundError: org/apache/commons/configuration/ConfigurationException
  at java.lang.ClassLoader.defineClass1(Native Method)
  at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
  at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
  at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
  at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
  at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
  at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
  at java.security.AccessController.doPrivileged(Native Method)
  at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
  at com.datastax.spark.connector.cql.CassandraConnectorConf$.apply(CassandraConnectorConf.scala:257)
  at com.datastax.spark.connector.cql.CassandraConnector$.apply(CassandraConnector.scala:189)
  at com.datastax.spark.connector.SparkContextFunctions.cassandraTable$default$3(SparkContextFunctions.scala:52)
  ... 53 elided
Caused by: java.lang.ClassNotFoundException: org.apache.commons.configuration.ConfigurationException
  at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

Spark 版本-2.3.1 连接器版本 = 2.0.0

【问题讨论】：

你是怎么定义sc和conf的？
您需要在 spark 配置中设置一些 cassandra 属性，希望 this 对您有所帮助...
我已经使用 --conf 属性设置它：spark.cassandra.connection.host=ipaddress

标签： scala apache-spark spark-cassandra-connector

【解决方案1】：

对于 Spark 版本 2.3.1，您必须使用 Spark 连接器版本 >= 2.3.0 - 当前版本为 2.3.2：

spark-shell --packages com.datastax.spark:spark-cassandra-connector_2.11:2.3.2 \
    --conf spark.cassandra.connection.host=<IP>

【讨论】：