【问题标题】:kafka streams rocksdb jmx metricskafka流rocksdb jmx指标
【发布时间】:2020-04-26 18:56:54
【问题描述】:

我正在尝试调试与 kafka 流状态应用程序相关的性能问题(我们仅使用处理器 API)。应用程序查询许多状态存储(接近 55 个)。因此,为了找出处理缓慢的原因,我一直在寻找指标。我发现我们可以在调试模式下为 RocksDB 启用 jmx 指标。

我已将“metrics.recording.level”设置为调试。但是,由于某种原因,应用程序没有报告任何指标。我开始获取任务级别指标(这意味着该级别是调试的)。我还需要启用其他功能吗?

此外,应用程序作为 kubernetes pod 运行,并在部署/重启时创建状态(来自更改日志)。

卡夫卡版本:2.4.1 Kafka客户端版本:2.4.1

我在打这个https://issues.apache.org/jira/browse/KAFKA-9355

另外,有没有本地工具可以用来直接查询应用程序pod上的rocksdb。顺便说一句,我可以执行到 pod 中进行任何调试。

【问题讨论】:

    标签: java apache-kafka apache-kafka-streams rocksdb


    【解决方案1】:

    我认为你在打:https://issues.apache.org/jira/browse/KAFKA-9675

    它已经修复,但修复尚未发布。

    【讨论】:

    • 谢谢马蒂亚斯。有什么解决方法吗?另外,是否有任何本机工具可以在 pod 上查询 Rocksdb?因为当我开始监视 Pod 上的 IO 时,它可以看到 60 MB/s 的一致 IO 被写入磁盘(很可能是 RocksDB)。因此,它可能与缓存未命中或 RocksDB 的其他一些调整有关。
    猜你喜欢
    • 1970-01-01
    • 2019-07-29
    • 1970-01-01
    • 1970-01-01
    • 2019-01-08
    • 2020-06-19
    • 2021-09-18
    • 2020-09-13
    • 2020-11-04
    相关资源
    最近更新 更多