Spark 1.4 和 Cassandra 3.0 的 spark-cassandra-connector答案

【问题标题】：spark-cassandra-connector for Spark 1.4 and Cassandra 3.0Spark 1.4 和 Cassandra 3.0 的 spark-cassandra-connector
【发布时间】：2019-04-10 21:31:28
【问题描述】：

Spark-Cassandra 专家：Apache Spark 1.4 能否在 Datastax 安装中与 Apache Cassandra 3.0 一起使用？我们正在考虑将 DSE 4.8（Spark 1.4 和 Cassandra 2.1）迁移到 DSE 5.0（Spark 1.6 和 Cassandra 3.0）的几种选择。一种选择是将 Cassandra 集群更新到 DSE 5.0 并将 Spark 集群保留在 DSE 4.8 上。这意味着我们必须让 Apache Spark 1.4 与 Apache Cassandra 3.0 一起工作。我们使用 https://github.com/datastax/spark-cassandra-connector 版本 1.4 (DSE 4.8) 和 1.6(DSE 5.0)。有人尝试过将 Spark 1.4 (DSE 4.8) 与 Cassandra 3.0 (DSE 5.0) 一起使用吗？

【问题讨论】：

欢迎来到 Stackoverflow。请阅读How do I ask a good question? 发布一个好问题，以便您收到有用的回复

标签： scala apache-spark cassandra cassandra-3.0 spark-cassandra-connector

【解决方案1】：

从 Maven Central 可以看出，Spark Cassandra 连接器 1.4.5 确实使用了 Java 驱动程序的 2.1.7 版本。根据compatibility matrix in official documentation，驱动程序 2.1.x 不能与 Cassandra 3.0 一起使用...您当然可以对其进行测试，但我怀疑它是否可以工作 - 驱动程序通常向后兼容，但不向前兼容...

我建议执行迁移到 DSE 5.0，然后以足够快的速度迁移到 5.1，因为 5.0 可能很快就会 EOL。

附：如果您有更多问题，我建议您加入 DataStax Academy Slack - 那里有一个关于 spark cassandra 连接器的单独频道。

【讨论】：