将 Confluent 与现有的三个 kafka 代理连接答案

【问题标题】：Connect Confluent with already existing three kafka brokers将 Confluent 与现有的三个 kafka 代理连接
【发布时间】：2017-06-01 10:34:44
【问题描述】：

我是 Confluent 世界的新手，我知道如何从 Confluent 开始 kafka，动物园管理员，但这不是我所需要的。

我已经安装了 3 个 kafka 节点和 2 个由 Ambari 安装的 zookeeper。之后我下载了 Confluent 的 3.0.0 版本，现在我想将 Confluent 与已经运行的 Kafka 和 zookeeper 连接起来。我不想实例化 confluent 提供的新 kafka 服务器或 zookeeper 服务器。

有没有人知道如何实现这一点，从 Confluent 实际运行什么以及要更改什么。

到目前为止，我只在 ./etc/kafka 或 ./etc/zookeeper 中更改文件，它们位于 Confluent 目录中。谢谢！

【问题讨论】：

你的问题我不清楚。您应该先查看 Confluent 网页和文档：confluent.io/product 和 docs.confluent.io/3.0.0 Confluent 提供的 Kafka 和 ZK 版本与 Apache Kafka 0.10.0（对于 CP 3.0.0）完全相同。
我在理解 Confluent 的工作方式方面存在一些问题。假设我在集群中有四台服务器。我已经在 server1-3 上安装了 Kafka，在 server1-2 上安装了 zookeepers。在 server4 上，我已经安装了 confluent。是否可以在 server1-3 上将 Confluent 与我的 Kafka 代理连接，或者他正在以不同的方式工作？我是否需要在我的所有四台或三台服务器上进行融合才能进行融合+kafka+zk 集成？你能帮我弄清楚吗？
CP 堆栈包含多个组件。那么你想用哪一个呢？模式注册表？休息代理？您应该能够结合运行 Kafka 部署来使用所有这些。请阅读 CP 文档。您的问题太宽泛，无法给出有用的答案。
假设我什么都不知道。你对我如何在多节点集群上运行 Confluent 有什么建议？之后，我可以在连接的同时运行 Confluent 和 Kafka（但 Kafka 作为已经安装的服务，而不是 Confluent 提供的服务）吗？谢谢你:)
我需要将此问题标记为“不清楚您在问什么”。对不起。你需要更具体。这太宽泛了。所以不是为了提供教程。我只能告诉你，应该可以将 Confluent Platform 连接到运行 Kafka 安装的您。

标签： apache-kafka apache-zookeeper confluent-platform

【解决方案1】：

阐明有关 Confluent 的一些基础知识以及如何管理 Confluent 和 Kafka 之间的通信

首先，没有一个名为“Confluent”的应用程序可以单独启动。

Kafka 或 Zookeeper 无需配置。 Confluent 平台不会在您拥有的现有 Apache Kafka 之上添加任何东西（大概是通过 Hortonworks 或 Cloudera）。

事实上，这些公司确实向 Kafka 添加了补丁，这些补丁与您从 Confluent 获得的基本 Apache 版本略有不同。

话虽如此，如果您仔细阅读 Confluent 提供的每个额外服务，您会注意到 Zookeeper 或 Bootstrap 服务器配置选项。填写这些字段，启动相应的服务，就可以开始了。

从 Confluent 实际运行什么

查看bin目录，可以找到所有的启动脚本。从 cmets 看来，您正在尝试使用 Connect Distributed（应该已经由任何最近的 Kafka 安装安装，它不是特定于 Confluent 的）和 Schema Registry。您必须更具体地了解您收到的错误，但配置文件都在 etc 路径中。

除非您使用 KSQL、REST 代理或控制中心，否则无需运行太多东西，因为如前所述，Kafka Connect 包含在基础 Apache Kafka 项目中，而 Hortonworks 正在维护自己的 Schema Registry 项目

Ambari 安装的 2 个动物园管理员

这是一个非常不推荐的设置。请安装奇数个 Zookeeper。 3个或5个，最好

【讨论】：