Clickhouse 将 kafka 导入线程优先于其他查询

【问题标题】：Clickhouse prioritize kafka import threads over other queriesClickhouse 将 kafka 导入线程优先于其他查询
【发布时间】：2021-04-30 04:26:45
【问题描述】：

TLDR;有没有办法让 kafka 引擎导入线程优先于任何其他 CH 线程，或者我可以为 kafka 消费者保留 CPU？

在我的设置中，发出大查询时 kafkalag 增加太多。我猜，这是因为当 CPU 负载过多时，导入线程没有收到足够的 CPU 时间。我尝试为用户设置最大线程上限以及设置不错的值。似乎没有任何效果，因此欢迎任何建议。

【问题讨论】：

您的流中有多少行/秒？ Clickhouse 版本？
CH 版本：20.9.2.20（官方构建）行/秒：每个主题 100k +- 40k（取决于一天中的时间）

标签： apache-kafka clickhouse

【解决方案1】：

升级到 20.9.7.11

使用设置kafka_num_consumers=5(10), kafka_thread_per_consumer=1重新创建kafka引擎表

添加到默认配置文件 (users.xml) background_schedule_pool_size=30

【讨论】：

您能否为选项 background_processing_pool_thread=30 提供任何文档？除了俄罗斯电报频道，我找不到任何相关的东西。
是的，我错了。 background_schedule_pool_size 。这里t.me/clickhouse_ru/182198 t.me/clickhouse_ru/182200mikhail是kafka引擎的维护者

猜你喜欢

1970-01-01
2022-01-21
1970-01-01
1970-01-01
2014-02-05
1970-01-01
2011-11-13
1970-01-01
1970-01-01

相关资源

下载 2023-03-27
下载 2021-06-06
下载 2023-01-12

最近更新更多

热门标签

Java Python linux javascript Mysql C# Docker 算法前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库数据结构大数据 js 机器学习微服务 Android Go 程序员面试 JVM ASP.net core 云原生人工智能后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习多线程 React 架构 devops 爬虫云计算 Spring Boot LeetCode