【发布时间】:2015-10-20 00:31:01
【问题描述】:
我正在使用 Apache Storm 在 Java 中开发 WordCount;句子是从文件中提取的,我想估计 Storm 处理文件所花费的时间。
我的问题是如何知道StormLocalCluster已经处理完文件的所有句子,以及如何估算所用时间。
【问题讨论】:
标签: java cluster-computing word-count apache-storm
我正在使用 Apache Storm 在 Java 中开发 WordCount;句子是从文件中提取的,我想估计 Storm 处理文件所花费的时间。
我的问题是如何知道StormLocalCluster已经处理完文件的所有句子,以及如何估算所用时间。
【问题讨论】:
标签: java cluster-computing word-count apache-storm
您的问题没有干净的解决方案,也无法估计所需的时间。
如果您启用容错机制(即,在 spout 中分配消息 ID,并在 bolts 中锚定和确认),您可以在您的 spout 中跟踪传入的确认。如果不再有待处理的元组,即收到所有确认,您就知道所有内容都已处理完毕。
【讨论】: