如何设置 cassandra 和 spark答案

【问题标题】：How to setup cassandra and spark如何设置 cassandra 和 spark
【发布时间】：2015-08-24 09:03:53
【问题描述】：

我的目标是在同一个 Cassandra 节点上运行 Spark 工作器，并为 Spark 主节点设置一个单独的节点。

现在，我正在试用 Datastax。在安装 Cassandra datastax 期间，我可以选择 3 种不同的节点类型 - Cassandra、搜索和分析。

在我的 3 节点集群上，我应该选择 2 个节点上的事务节点类型和 1 个节点类型进行分析（Spark 主节点）吗？如何在 Cassandra 节点上启用 Spark 工作器？

感谢 MarcintheCloud 的回答：

请记住，当 DSE 运行时，Cassandra 仍在运行分析模式。您仍然可以像您一样为 Cassandra 事务提供服务通常会。

【问题讨论】：

【解决方案1】：

您将希望以“分析”模式运行所有这些节点（专门运行 Spark）。

您可以通过在 dse 默认文件中设置 Spark 标志（如果使用 rpm）或使用 -k 参数（tarball）启动 dse 来做到这一点，请参阅：http://docs.datastax.com/en/datastax_enterprise/4.7/datastax_enterprise/spark/sparkStart.html

如果您没有明确指定一个主服务器，DSE 会自动为您选择一个主服务器。 Spark 工作进程也将在所有节点上自动启动。

编辑：请记住，当 DSE 在分析模式下运行时，Cassandra 仍在运行。您仍然可以像往常一样为 Cassandra 事务提供服务。

如果您有任何其他问题，请告诉我！

【讨论】：