Datastax 企业可用核心数

【问题标题】：Datastax enterprise number of cores availableDatastax 企业可用核心数
【发布时间】：2016-06-15 01:43:33
【问题描述】：

我使用 3 个 m3.large 实例在 AWS 上创建了 Datastax Enterprise 集群，其中所有 3 个节点都是运行 Spark 的分析节点。

3 个 m3.large amazon 实例每个有 2 个核心，因此总共 6 个核心。

在 Spark Master web ui 上，我总共只看到 3 个可用内核 -> 在每个工作节点的 web ui 上，我只看到 1 个可用内核。

其他 3 个内核发生了什么？ DSE 是否为 Cassandra 或其他一些操作为每台机器保留 1 个核心？

谢谢

【问题讨论】：

【解决方案1】：

DSE 中 Spark 可用的核心数默认为 (.7 * total_number_of_cores)。在您的情况下，这将导致 1.4 向下舍入为单核。您可以通过编辑来修改您的百分比

/etc/dse/dse.yaml

or  

install_location/resources/dse/conf/dse.yaml

调整

initial_spark_worker_resources: .7

以下文档还详细介绍了如何修改 Spark 设置。但是，重要的是要注意，如果您机器的所有内核都分配给 Spark，您的系统最终会发生上下文切换并降低性能。

【讨论】：