如何在 Datastax Enterprise 中不使用 Cassandra 启动 Spark

Question

我最近在我的 5 节点集群中安装了 DataStax Enterprise (v5.0)。我打算使用 3 个节点作为 spark，2 个节点作为 cassandra 多节点集群。

现在每当我尝试在我的 spark 节点中启动 spark -

我收到以下错误 -

sudo dse 火花 线程“主”java.io.IOException 中的异常：无法在 {127.0.0.1}:9042 打开到 Cassandra 的本机连接 在 com.datastax.spark.connector.cql.CassandraConnector$.com$datastax$spark$connector$cql$CassandraConnector$$createSession(CassandraConnector.scala:160)

为什么 spark 会寻找 cassandra ？在 DSE 中没有 cassandra 就无法启动 spark 吗？

我还应该更改 DSE 中的哪些 conf 文件，以便 spark 连接到在另一个节点上运行的 cassandra（而不是在 127.0.0.1:9042 本地运行的那个）

Answer 1

您目前 (5.0) 无法在没有 Cassandra 的情况下启动 DSE 节点。但仅仅因为你必须启动 Cassandra 并不意味着你必须使用它。只要确保您始终使用网络拓扑策略，DSE 只会在这些机器上使用 C* 来获取八卦和架构信息。

也用于注释 dse spark 只是启动 spark shell。它不会启动 Spark Master 和 Worker 基础架构。