“load()”处的 cassandra-connector 问题答案

【问题标题】：Problem with cassandra-connector at "load()"“load()”处的 cassandra-connector 问题
【发布时间】：2020-12-17 12:10:29
【问题描述】：

我成功下载了这个连接器：com.datastax.spark:spark-cassandra-connector_2.11:2.5.1

当我尝试使用这一行加载信息时：

data = sparkSession.read.format("org.apache.spark.sql.cassandra").options(table="tbthesis", 
keyspace="test").load()

我收到此错误：

Exception has occurred: Py4JJavaError
An error occurred while calling o48.load.
: java.lang.ClassNotFoundException: Failed to find data source: org.apache.spark.sql.cassandra. 
Please find packages at http://spark.apache.org/third-party-projects.html

除了错误提示“寻找另一个连接器”之外，还有什么想法吗？确实，这是几个专业人士建议我使用的连接器，因此我认为它大多是其他东西。

谢谢！

【问题讨论】：

docs.microsoft.com/en-us/azure/cosmos-db/…
谢谢，我认为一旦我解决了问题，您分享的这个链接将非常有帮助，不知何故，问题仅出在方法 load() 中，似乎是其他问题
包应该通过--packages或者--jars注册
嗯，这对我来说是新的，我使用过 --packages 到目前为止，我会尝试 --jars 看看有什么不同
--packages com.datastax.spark:spark-cassandra-connector_2.11:2.5.1 工作正常，

标签： java apache-spark pyspark cassandra spark-cassandra-connector

【解决方案1】：

我的问题解决了，我必须下载：

--packages com.datastax.spark:spark-cassandra-connector_2.12:2.5.1

这是我的 scala 版本的正确连接器：2.12.10

感谢大家的支持！

【讨论】：