如何提高 Clickhouse Kafka 消费者的性能答案

【问题标题】：How to improve performance on Clickhouse Kafka consumer如何提高 Clickhouse Kafka 消费者的性能
【发布时间】：2020-03-24 19:48:29
【问题描述】：

我有一个 9 个分区的 Kafka 主题，即使我使用 9 个消费者，并且将流间隔设置为 1 秒，我仍然没有看到机器的资源付出太多努力，CPU 甚至低于 10%（对于8 核，16GB AMI）。

我应该尝试修改任何其他属性吗？提前致谢。

【问题讨论】：

首先，检查每个消费者的延迟（您可以使用Kafka Tool 来实现此目标） - 可能是来自 Kafka 的事件数量很少，而 CH 摄取它们的速度非常快。
谢谢，但作为测试的一部分，在开始从 CH 提取之前，我已经在主题中插入了数亿个事件
主题有多少个分区？
@nabongs ，9 个分区，在 CH 8 核实例上，仍然几乎没有划伤那台机器上的资源

标签： olap clickhouse

【解决方案1】：

我找到了问题的根源、流式轮询超时和刷新间隔。

一旦我将以下内容添加到users.xml并重新启动，摄取率显着增加

 <stream_poll_timeout_ms>5000</stream_poll_timeout_ms>
        <stream_flush_interval_ms>1500</stream_flush_interval_ms>
        <max_streams_to_max_threads_ratio>4</max_streams_to_max_threads_ratio>

【讨论】：