mapR Kafka 无法启动第二轮

Question

迄今为止，我要么使用现有的专业安装的 Hadoop 并运行组件，要么安装 Kafka 并在本机 VM 中使用同样提供的 Zookeeper。

我正在尝试让 mapR 社区版沙盒立即运行。

• mapR 上有一个 KAFKA 库，但是使用 jps 时没有显示 kafka。看起来很奇怪？我设法让 KAFKA 启动了一次。
• mapR 上有一个 Zookeeper 服务，但它使用端口 5181，而不是 2181。

• Kafka 使用端口 9092。

• kafka 的 log.dirs 设置为 /tmp/kafka-logs，我将其更改为 /opt/kafka-logs

• dataDir 也设置为 /tmp/zookeeper，我将其更改为 /opt/zookeeper

• 我还将 Zookeeper 端口更改为 5181，因为这是 mapR 使用的。

它运行了一次，然后我重新启动，我仍然得到这种类型的错误：

java.io.FileNotFoundException: /tmp/kafka-logs/.lock (Permission denied)

我认为我已经在需要的地方完成了 chmod 777，但是我将路径从 /tmp 更改为 /opt/...。那么为什么它又选择了 /tmp 呢？

我的印象是，无论配置更新如何，它都会一直指向 /tmp。

我还看到了一个警告 - 尽管我认为这不是问题：

[2019-01-14 13:26:46,355] WARN No meta.properties file under dir /tmp/kafka-logs/meta.properties (kafka.server.BrokerMetadataCheckpoint)

可能是因为mapR Streams我无法影响它以原生运行？

Answer 1

好的，我可以在解决问题时删除问题，但对于 mapR 上的问题，我推断：

• 您需要立即将 server.properties 上的端口 2181 更新为 5181。在这种情况下，我们与现有的 zookeeper 实例集成。
• 同样，尽快将 Kafka 的 log.dirs 从 /tmp/kafka-logs 更新到 /opt/kafka-logs。
• 同样，尽快将 /tmp/zookeeper 中的 dataDir 更新到 /opt/zookeeper。

尝试稍后修复，否则会导致各种问题。我最终只是重新安装并从头开始做。

mapR 有一个更快的版本，称为 mapR Streams，它实现了 Kafka。我不想用它来做我想做的事，但 mapR Sandbox 有很多开箱即用的最新项目——当然与 Cloudera 相比。