【问题标题】:Using Kafka -Producer API and Consumer API to send and read messages -GCP使用 Kafka -Producer API 和 Consumer API 发送和读取消息 -GCP
【发布时间】:2022-10-14 22:42:57
【问题描述】:
我是 GCP 和 Kafka 的新手。我想为 Kafka 主题构建一个监听器。
我浏览了 Kafka 文档和几篇文章来了解它的术语和核心概念。
我在 GCP 中安装了 Kafka(Type:VM) 并创建了主题,使用几篇安装文章为主题编写了事件。
我参考了几篇文章,并开始通过在本地安装 Kafka 在 nodejs 中创建生产者和消费者。
但是我需要在 GCP 中使用 Kafka 并为该主题构建一个侦听器。我该如何实现?如果我使用 Node-js 创建 Producer API 和 Consumer API,如何在 GCP 中使用 Kafka 实现连接?我不确定我是否遗漏了一些可参考的东西。
有人可以帮我解决这个问题吗?
【问题讨论】:
标签:
google-cloud-platform
apache-kafka
【解决方案1】:
除了在 GCE 中运行 Kafka 代理之外,GCP 没有什么特定于您的问题的。您也可以在 GKE 中执行相同的操作,并使用 Kafka Operator 或 Helm Chart……或托管解决方案,例如 Confluent Cloud 并链接到您的 GCP 帐户。在市场上搜索其他 Kafka 解决方案。
要连接到 Kafka,您只需为其提供一个引导服务器地址。例如,您将使用 GCP 地址而不是 localhost:9092。
要从 Kafka 消费,您需要一个消费者。
对于 NodeJS,KafkaJS 是一种流行的方法。