从 kafka 主题中删除的数据

【问题标题】：Data deleted from kafka topics从 kafka 主题中删除的数据
【发布时间】：2018-12-18 12:05:37
【问题描述】：

我昨天开始的主题没有任何数据。主题出现在 list 命令中，但所有数据都丢失了。数据已生成并保存在主题中。但是，在我不知道的一段时间之后，数据消失了。需要注意的是，我确实消费过一次数据。

怎么样？我应该更改哪些设置？

【问题讨论】：

这太模糊了，任何人都无法帮助您。您需要添加更多信息。你能成功生产吗？你曾经能够消费吗？您现在无法消费的只是昨天的数据吗？
完成，进行了更改。
默认情况下，Kafka 写入 /tmp 文件系统。如果您重新启动计算机，这些数据就会消失

标签： apache-kafka apache-zookeeper

【解决方案1】：

如果您尝试使用相同的消费组进行消费，并且该组的偏移量尚未过期，那么您将无法获得任何回报。

如果您不是作为同一消费者组的一部分进行消费，可能主题数据已过期并被删除？

可以查看主题的开始和结束偏移量；例如

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test-orders --time -2
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test-orders --time -1

如果报告的开始和结束偏移量匹配，则主题中没有数据。在这种情况下，您可以查看主题或代理级别的retention.ms。增加此配置的值将使记录保持更长时间，但会占用额外的磁盘空间。

【讨论】：