AWS MSK 和 Confluent Schema Registry 和 Confluent Kafka 如何连接推荐一起使用？

Question

我们计划将 AWS MSK 服务用于托管 Kafka 和 Schema Registry 以及来自 Confluent 的 Kafka Connect 服务来运行我们的连接器（Elasticsearch Sink 连接器）。我们计划在 EC2 中运行 Schema Registry 和 Connectors。

根据 Confluent 团队的说法，如果我们使用 MSK for Kafka，他们将无法正式支持 Confluent Schema Registry 和 Kafka Connect。

那么，任何人都可以分享他们的经验吗？喜欢 如果 Anybuddy 在生产环境中同时使用了 MSK 和 Confluent 服务的组合？

使用这种组合有什么风险吗？

是否推荐使用这种组合？

如果我们在连接器方面遇到任何问题，Confluent 社区如何支持？

还有其他建议、cmets 或替代方案吗？

我们已经拥有 Confluent 企业平台许可证，但我们希望托管 Kafka 服务，这就是我们选择 AWS MKS 的原因，因为根据我们的分析，它比 Confluent Cloud 更具成本效益？

请提前分享您的想法和感谢。

谢谢

Answer 1

客观地回答你的问题这是可行的，但这取决于你的主要痛苦在哪里。

从许可的角度来看，没有什么会迫使您订阅 Confluent 只是为了使用 Kafka Connect 或 Schema Registry，因为它们分别基于 Apache License 2.0 和 Confluent Community License。

从技术角度来看，您可以在 EC2 上同时运行 Kafka Connect 和 Schema Registry；只要它们在与 MSK 集群相同的 VPC 中运行，它们就可以完美运行。

从成本的角度来看，您必须评估让您和/或您的团队管理 Kafka Connect 和 Schema Registry 的成本。不仅要考虑安装和设置阶段，还要考虑管理和发展阶段。该软件可能没有任何成本，但操作这些组件的努力可以转化为成本。

如果我们在连接器方面遇到任何问题，Confluent 社区如何支持？

无论您在 Apache Kafka 用户组或 Confluent 在 Slack 中拥有的社区寻求帮助，Kafka 社区通常都会非常有帮助。当然，这一切都是为了尽力而为，您不能依赖他们来获得支持。可能需要几天的时间，直到某个好心人决定帮助您。这也转化为成本：降低和/或等待解决方案的成本有多少？

我不再是 Confluent 的员工，因此我什至不会试图说服您从他们那里购买。但是您应该评估这部分成本并检查使用 Confluent Cloud 是否不会为您提供更具成本效益的解决方案，因为它包含 Kafka、Kafka Connect 和 Schema Registry 的托管版本。根据我的经验，Confluent Cloud 上的托管 Kafka 成本并不高，托管 Schema Registry 是“免费的”，但使用托管连接器的成本可能非常高，而且可能更糟，具体取决于您在托管中配置的任务数量连接器。这是您应该注意的唯一问题。

Answer 2

AWS MSK 现在支持fully managed free schema registry service，可轻松与 Kafka 和其他 AWS 服务（如 Kinesis、Glue 等）集成。使用它更容易上手。