Kafka 尝试访问磁盘上的日志文件时抛出异常磁盘错误答案

【问题标题】：Kafka threw exception disk error when trying to access log file on the diskKafka 尝试访问磁盘上的日志文件时抛出异常磁盘错误
【发布时间】：2019-03-20 12:29:54
【问题描述】：

我的 Kafka 集群（10 个节点，5 个 zk 节点）突然抛出 disk error 异常如下：

ERROR [ReplicaFetcher replicaId=196790673, 
leaderId=196790680, fetcherId=0] 
Error for partition test-topic-23 at offset 1012839
(kafka.server.ReplicaFetcherThread)
org.apache.kafka.common.errors.KafkaStorageException: 
Disk error when trying to access log file on the disk

所以我的 Kafka 生产者和消费者都失败了，但我仍然可以创建一个具有 36 个分区和 2 个副本的新主题，并且我可以从新主题中写入/读取。当我尝试在命令行中读/写旧主题时，有时好有时失败。

我也试过在磁盘上创建一个文件/文件夹，也没问题。所以我很困惑为什么 Kafka 会抛出磁盘错误异常。

【问题讨论】：

这件事也突然发生在我的码头工人那里。经过几周的工作并且从未更改配置后，它第一次出现，当它必须在重新启动后工作并存储一些生产者消息时。我以为这和我的制片人有关，但它看起来像是kafka经纪人的一个错误。我也需要帮助。
今天发生在我们的 Kafka 集群上......所有节点都宕机了......

标签： apache-kafka

【解决方案1】：

这听起来很明显，但是要检查您是否收到磁盘错误，首先要检查的是磁盘。它是否已损坏，或者可能只是一个完整的分区？

另请注意，磁盘可能仍然可以工作，或者您可能有多个磁盘，因此像“我仍然可以使用某些磁盘”这样的测试不会提供太多信息。

【讨论】：