非 Kerberized Kafka 代理连接到 Kerberized Zookeeper答案

【问题标题】：Not Kerberized Kafka broker connection to Kerberized Zookeeper非 Kerberized Kafka 代理连接到 Kerberized Zookeeper
【发布时间】：2018-02-17 06:39:06
【问题描述】：

我找不到有关此问题的任何信息，因此如果有人可以帮助我解决此问题，我会很高兴。

我有一个 Kerberized 集群，其中包含 Hbase、MapReduce、HDFS、Zookeeper 等服务，所有这些都使用了 Kerberized 并且可以正常工作。

假设我想在集群中添加一些 kafka 代理，但我确实不想要Kerberize Kafka，因为在睾丸让我感觉比 Kerberized Kafka 的想法更好。

我不知道我是否遗漏了一些东西，一些参数......可能我是......但可以告诉动物园管理员也必须接受某些节点或某些特定目录的PLAINTEXT请愿，比如例子中的kafka：

zookeeper:2181/kafka

继续，问题是：

是否有任何选项可以包含非 Kerberized Kafka 代理并使其与集群中已经 Kerberized 的 Zookeeper 一起工作？

【问题讨论】：

标签： apache-kafka cluster-computing apache-zookeeper kerberos ambari

【解决方案1】：

如果你需要这样的配置：

[zookeeper] <----- SASL ----> [kafka] <----- non-authenticated request ---> [clients]

那么是的，这是可能的。你只需要

为将用于与 Zookeeper 通信的代理创建主体（带有密钥表）。
配置 Zookeeper ACL，为该用户设置 cdrwa 对节点 zookeeper:2181/kafka 的访问权限
将 keytab 复制到代理并配置 Kafka jaas 文件，如下所示： ZookeeperClient { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true storeKey=true keyTab="/path/to/keytab" principal="user@REALM"; };

然后，在 Kafka 配置中设置 zookeeper.set.acl=true，但不要设置任何 authorizer.class.name（这将为 Kafka 消费者和生产者启用身份验证）

【讨论】：

谢谢马吕斯！我会尽快尝试。只是一个问题：要使此配置有效，是否有必要更改 zookeeper 默认节点？我的意思是，zookeeper:2181（默认值）仍然有效，对吧？我的意思是，这个非 Kerberos Kafka 不会“干扰”其他也连接到 zookeeper:2181 的 Kerberos Kafka，对吧？提前致谢！
如果你想在一个zookeeper上使用2个（或更多）Kafkas，你应该首先为每个节点创建一个根节点，并与节点传递连接字符串，例如：zookeeper:2181/kafka1，zookeeper:2181/kafka2 .如果你按照这种方式，不同的集群将完全分离。
马吕斯，非常感谢。我终于可以让非 kerberos Broker 与 kerberized zookeeper 一起工作。（我在上一条评论中说错了，不是说另一个Kafka，而是另一个连接zookeeper的进程，但我测试了这个配置没有损害任何其他服务）。无论如何，最后一个问题让我很感兴趣...... 0.9 消费者仍然连接到 zookeeper 以消费消息......它如何工作，而不使用特定的主体？或者当您使用控制台消费者时，Kafka是否使用连接（客户端）到zookeeper的主体？非常感谢！！
这很奇怪——如果你在 ZK 中使用没有身份验证的老消费者（在 ZK 中有偏移）并且在同一个 ZK 中已经保护了 Kafka 节点——它不应该工作:-)
完全是我的错，我知道这有什么奇怪的...运行消费者和生产者。哎哟！！再次感谢！