在 Windows 10 Linux 子系统中使用融合 KSQL 时 Kafka 服务器崩溃答案

【问题标题】：Kafka Server crashing when confluent KSQL is used in a Windows 10 Linux Subsystem在 Windows 10 Linux 子系统中使用融合 KSQL 时 Kafka 服务器崩溃
【发布时间】：2020-07-05 04:32:59
【问题描述】：

当我使用 confluent ksql 创建流并在将偏移重置为最早并尝试查询流后，我看到 Kafka 服务器崩溃。我使用的是 Windows 10，并且我已经尝试过将 Ubuntu 和 Debian 作为 WSL。

我已尝试清除日志文件夹 sudo rm -fr /tmp/confl* 并尝试使用 confluent local start 重新启动 confluent 平台，但 kafka 没有得到开始了。

以下是我在 confluent local log kafka

中看到的错误

INFO [Transaction State Manager 0]: Loading transaction metadata from __transaction_state-8 at epoch 0 (kafka.coordinator.transaction.TransactionStateManager)
[2020-06-26 11:27:26,208] **ERROR Error while renaming dir for _confluent-ksql-default_transient_1143297338875599674_1593157827320-Aggregate-Aggregate-Materialize-changelog-0 in log dir /tmp/confluent.HBnj6u7x/kafka/data (kafka.server.LogDirFailureChannel)
java.nio.file.AccessDeniedException: /tmp/confluent.HBnj6u7x/kafka/data/_confluent-ksql-default_transient_1143297338875599674_1593157827320-Aggregate-Aggregate-Materialize-changelog-0 -> /tmp/confluent.HBnj6u7x/kafka/data/_confluent-ksql-default_transient_1143297338875599674_1593157827320-Aggregate-Aggregate-Materialize-changelog-0.355fe6c61afa41609e74e252e3dbac92-delete**


[2020-06-26 11:27:26,287] WARN Stopping serving logs in dir /tmp/confluent.HBnj6u7x/kafka/data (kafka.log.LogManager)
[2020-06-26 11:27:26,292] **ERROR Shutdown broker because all log dirs in /tmp/confluent.HBnj6u7x/kafka/data have failed (kafka.log.LogManager)**
[2020-06-26 11:27:26,294] INFO [Transaction State Manager 0]: Completed loading transaction metadata from __transaction_state-44 for coordinator epoch 0 (kafka.coordinator.transaction.TransactionStateManager)
[2020-06-26 11:27:26,295] INFO [Transaction State Manager 0]: Loading transaction metadata from __transaction_state-27 at epoch 0 (kafka.coordinator.transaction.TransactionStateManager)

【问题讨论】：

标签： apache-kafka debian windows-subsystem-for-linux confluent-platform

【解决方案1】：

java.nio.file.AccessDeniedException 错误消息告诉我，关于 KSQL 能够读取/写入 WSL 提供的文件系统中的文件，有些问题。这可能与 WSL 未在文件系统上提供适当的 Linux 权限的常见问题有关。一个可能的修复方法是描述on this blog。

无论如何，我鼓励您尝试使用 ksqlDB（Confluent KSQL 的社区版本），它提供了基于 Docker 的即用型脚本，这样您就可以抽象出这些文件系统问题并直接跳到编码部分。

ksqlDB Quickstart

【讨论】：