【问题标题】:Storm: How do I get the transfer latency between bolts?Storm:我如何获得螺栓之间的传输延迟?
【发布时间】:2016-01-30 20:50:05
【问题描述】:

注意:我使用的是 Azure HDInsight Storm Linux Cluster 。

Storm UI 提供了相当不错的指标,但没有提供螺栓之间的延迟。所以我在每个螺栓的开头和结尾都放了一些日志语句。这样我可以计算螺栓之间的时间。不幸的是,这个值有时会返回负数......:/但这应该是不可能的。我正在使用四个工作进程 (JVM),所以我假设当一条消息从一个 JVM 发送到另一个 JVM 时,它们的系统时钟不同步。

谁能回答以下任一问题:

1) How to reliably get the transfer latency between bolts. 
2) How to sync the system clock between worker processes.

【问题讨论】:

  • 您不接受或回答您的任何问题?向那些试图帮助你的人表达感激之情,或者如果你还有任何问题,请在帖子上问他们。如果用户回答您的问题,他们应该得到反馈/他们的声誉

标签: azure apache-storm metrics azure-hdinsight


【解决方案1】:

很难——如果你想做到非常可靠,你需要使用System.nanoTime()——这不会访问系统时钟并且不能在机器上同步——因此,它只适用于在同一台物理机器上运行的两个工作人员。

对于多机测量,您可以使用 NTP 同步系统时钟。但这会不太准确。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2014-07-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多