【问题标题】:How interpret Storm UI statistic如何解释 Storm UI 统计信息
【发布时间】:2016-01-21 11:36:31
【问题描述】:

我在解释风暴 UI 统计数据时遇到了一些问题。 我使用 Kafka spout 和 Custom Bolt 部署了一个简单的拓扑,它们什么都不做,但承认元组。这个想法是衡量 Kafka spout 的性能。

所以,看看这些统计数据,我有一些问题。

1) 在过去 10 分钟拓扑中确认了 1619220 个元组,完整延迟为 14.125 毫秒。但如果你做一些计算:

    (1619220 * 14.125) / (1000 * 60) = 381

1619220 个元组,每个元组的完全延迟为 14.125,需要 381 分钟才能通过拓扑。但该统计数据是最后 10 分钟。完全延迟显示错误的数字,还是我解释错了?

2) 螺栓容量约为 0.5。是否证明瓶颈是kafka spout?

我会很感激有关改进风暴拓扑性能的任何信息,因为这对我来说现在并不明显。

【问题讨论】:

    标签: apache-kafka apache-storm


    【解决方案1】:

    由于并行性,许多正在运行的元组的元组处理确实重叠,因此您的计算不正确。 (只有在 Storm 在开始处理下一个元组之前完全处理单个元组时才会正确。)

    0.5 的容量并不是真正的过载。过载将超过 1。但我建议尝试将其保持在 0.9 或 0.8 以下,以便为输入速率的峰值留出一些空间。

    【讨论】:

    • 感谢马蒂亚斯的回答。还有一件事。关于容量的问题,我不确定喷口不是螺栓。 bolt 的容量值 0,5 是否表明 spout 运行得尽可能快,我需要增加它的并行提示?
    • 可能是这种情况。但前提是有足够的可用数据使 spout 可以从外部获取并发出。
    猜你喜欢
    • 2019-10-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-01-31
    • 1970-01-01
    相关资源
    最近更新 更多