一些数据没有被 kafka-engine 消耗答案

【问题标题】：some data did not consumed by kafka-engine一些数据没有被 kafka-engine 消耗
【发布时间】：2020-04-16 00:07:29
【问题描述】：

我们使用kafka-engine连接kafka topic，然后MATERIALIZED VIEW存储数据。

但是时不时会有一些数据没有被kafka-engine消耗掉（因为我们也使用flume将数据放到hdfs文件中，这些丢失的数据可以在hdfs文件中找到）。

除了升级clcikhouse服务器版本（我们正在升级clickhouse服务器）之外，还有其他方法可以找到相关日志来定位问题

【问题讨论】：

【解决方案1】：

您可以通过将<kafka><debug>all</debug></kafka>片段添加到clickhouse config.xml文件来启用rdkafka日志

日志将被写入 /var/log/clickhouse-server/stderr 文件（在 docker - 到 docker 日志中）。

【讨论】：