ElasticSearch Spark CPU 利用率飙升至 300%

Question

我有一个 12 核和 10GB RAM 的 Spark 集群。 实际上是两台机器以集群模式运行。 在这两台机器上，我还设置了一个 ElasticSearch 集群。

我每秒写大约 150 000 条记录...分批 5000 条 但是，当 Batch insert 模式启动时，Elasticsearch 和 Spark 的 Java 进程都使用大约 300% 的 CPU :(

有人能解释一下发生了什么吗？

Answer 1

这不是问题，只是 12 个 CPU 中的 3 个最多。