在 Storm 中增加拓扑的分配内存答案

【问题标题】：Increasing assigned memory for a topology in Storm在 Storm 中增加拓扑的分配内存
【发布时间】：2018-05-21 07:15:05
【问题描述】：

我有一个 10 节点集群，每台机器都有 8 GB RAM，当我运行我的拓扑时，分配的内存总是与工作人员的数量成正比。每个工作人员大约占用 1 GB 的内存。我想为我尝试在storm.yaml中设置为worker.childopts: "-Xmx6g -Xms6g"的每个worker分配2 GB，因为我在每个节点中运行三个worker。但是分配的内存减少到 1 GB 以下。

如何更好地调整我的拓扑？

我的一个螺栓出现以下错误

java.lang.OutOfMemoryError：java.nio.HeapByteBuffer.(HeapByteBuffer.java:57) 处 java.nio.ByteBuffer.allocate(ByteBuffer.java:335) 处 org.apache.kafka.common 处的 Java 堆空间。内存.MemoryPo

【问题讨论】：

标签： performance memory apache-storm worker apache-storm-topology

【解决方案1】：

你可以参考这个链接 https://github.com/apache/storm/blob/master/conf/defaults.yaml

我配置了 2 个参数：

worker.heap.memory.mb: 768
supervisor.memory.capacity.mb: 4096.0

如果你有 10 个工人，你必须配置 supervisor.memory.capacity.mb = (768 x 10) 这是主管的能力

【讨论】：

【解决方案2】：

我认为你的配置有点错误。 worker.childopts 设置被传递给每个 worker JVM，因此当您设置 -Xmx6g -Xms6g 时，您将为您的三个 worker 中的每一个分配 6 gigs 的内存（节点总共 18 个）

【讨论】：