风暴拓扑拓扑在 2 或 3 天后未处理

Question

我正在运行一个 3 节点 Storm 集群。我们正在提交一个有 10 个工作人员的拓扑，以下是拓扑详细信息

拓扑详情：

kafkaspout: 1 (with 10 kafka partions and 10 executors) 
no of bolt: 4 (with bolt1 - 30 executors,bolt2 - 50 executors, bolt3 - 80 executors and bolt4 has 100 executors)
kafka spout pending : 500 messages

我们每天处理 8 到 1000 万个数据。问题是 Toplolgy 只运行了 2 到 3 天，而我们在 kafka spout 中看到一些失败的元组并且没有处理任何消息。提交新拓扑时它工作正常，但是在 2 或 3 天后我们再次看到同样的问题。有人可以为我们提供解决方案。下面是我的风暴配置

Storm.yaml：

worker.childopts: "-Xmx3072m -XX:-UseGCOverheadLimit -server -XX:+AggressiveOpts -XX:+UseCompressedOops -Djava.net.preferIPv4Stack=true -XX:MaxTenuringThreshold=1 -XX:SurvivorRatio=6 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly"
storm.zookeeper.servers:
     - "zoo1"
     - "zoo2"
     - "zoo3"
storm.zookeeper.port: 2181
ui.port: 9095
ui.host: uihost

nimbus.host: "nimbushost"
storm.local.dir: "/storm-logs"

supervisor.slots.ports:
   - 6700
   - 6701
   - 6702
   - 6703
   - 6704
   - 6705
   - 6706
   - 6707
   - 6708
   - 6709

Answer 1

这些都是非常旧的版本。我对 Storm 0.10 之前的版本不太熟悉，但我会将这个答案链接到https://stackoverflow.com/a/49138567/8845188，因为这些情况看起来很相似。

请注意，与使用 Storm 1.1.1 的其他用户不同，您使用的版本可能未修复 STORM-1750，因此您应该考虑升级。