从 jar 运行时，Spark 作业无法连接到 cassandra

Question

我有将数据写入 Cassandra 的 spark 作业（Cassandra 在 GCP 上）。当我从 IntelliJIDEA（我的 IDE）运行它时，它工作得非常好。数据完美地发送并写入 Cassandra。但是，当我将项目打包到一个胖 jar 中并运行它时，这会失败。

这是我如何运行它的示例。

spark-submit --class com.testing.Job --master local out/artifacts/SparkJob_jar/SparkJob.jar 1 0

但是，这对我来说失败并给我以下错误

Caused by: java.io.IOException: Failed to open native connection to Cassandra at {X.X.X:9042} :: 'com.datastax.oss.driver.api.core.config.ProgrammaticDriverConfigLoaderBuilder com.datastax.oss.driver.api.core.config.DriverConfigLoader.programmaticBuilder()'


Caused by: java.lang.NoSuchMethodError: 'com.datastax.oss.driver.api.core.config.ProgrammaticDriverConfigLoaderBuilder com.datastax.oss.driver.api.core.config.DriverConfigLoader.programmaticBuilder()'

我的工件文件确实包含 spark-Cassandra 文件

spark-cassandra-connector-driver_2.12-3.0.0-beta.jar
spark-cassandra-connector_2.12-3.0.0-beta.jar

我想知道为什么会发生这种情况以及如何解决？

Answer 1

问题在于，除了这两件事之外，您还需要更多的 jars - 完整的 Java 驱动程序及其依赖项。您可以通过以下方式解决此问题：

1. 您需要确保使用 Maven 或 SBT 或其他任何方式将这些工件打包到生成的 jar（所谓的“胖 jar”或“程序集”）中

2. 你可以指定maven坐标com.datastax.spark:spark-cassandra-connector_2.12:3.0.0-beta和--packages像这样--packages com.datastax.spark:spark-cassandra-connector_2.12:3.0.0-beta

3. 您可以将spark-cassandra-connector-assembly 工件下载到您正在执行spark-submit 的节点，然后将该文件名与--jars 一起使用

有关详细信息，请参阅documentation for Spark Cassandra Connector。