【问题标题】:apache storm wordcount: how to estimate time taken to process a fileapachestorm wordcount:如何估计处理文件所需的时间
【发布时间】:2015-10-20 00:31:01
【问题描述】:

我正在使用 Apache Storm 在 Java 中开发 WordCount;句子是从文件中提取的,我想估计 Storm 处理文件所花费的时间。

我的问题是如何知道StormLocalCluster已经处理完文件的所有句子,以及如何估算所用时间。

【问题讨论】:

    标签: java cluster-computing word-count apache-storm


    【解决方案1】:

    您的问题没有干净的解决方案,也无法估计所需的时间。

    如果您启用容错机制(即,在 spout 中分配消息 ID,并在 bolts 中锚定和确认),您可以在您的 spout 中跟踪传入的确认。如果不再有待处理的元组,即收到所有确认,您就知道所有内容都已处理完毕。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2019-04-28
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-11-19
      • 1970-01-01
      • 1970-01-01
      • 2023-01-18
      相关资源
      最近更新 更多