将 Kafka 集群审计日志获取到 GCP 日志记录的不同方法有哪些？答案

【问题标题】：What are the different ways to get Kafka Cluster Audit log to GCP Logging?将 Kafka 集群审计日志获取到 GCP 日志记录的不同方法有哪些？
【发布时间】：2021-10-10 17:29:57
【问题描述】：

将 Kafka 集群审计日志获取到 GCP 日志记录有哪些不同的方法？谁能分享更多关于我如何实现它的信息？

谢谢！

【问题讨论】：

你试过 Replicator 还是 MirrorMaker？
@OneCricketeer，不，我没有尝试过 Replicator 或 MirrorMaker。我想将 Confluent Cloud Cluster Audit 日志写入 GCP Logging 服务。正如我所读到的，Replicator 或 MirrorMaker 仅用于复制两个融合集群。你能分享更多信息吗？我说的是这个docs.confluent.io/cloud/current/access-management/audit-logging/…集群审计事件。
它们用于 Kafka 集群之间，而不是“融合集群”。通过“GCP 日志记录”，我假设您的意思是那里的 Kafka 集群或 Pub/Sub
@OneCricketeer，是的，你是对的。我的意思是 Kafka 集群。
@RanLupovich，非常感谢您分享接收器连接器的可用性。

标签： apache-kafka confluent-cloud

【解决方案1】：

假设您有权访问必要的主题（据我了解，审计主题并未存储在您自己的集群中），要从 Kafka 中获取数据，您需要一个消费者。这可以是任何语言。

要将数据导入 Cloud Logging，您需要使用 its API。

话虽如此，您可以使用任何兼容的 Kafka 客户端和云日志记录客户端对。

例如，您could write 或查找包装Java Cloud Logging client 的Kafka Connect Sink 连接器。

【讨论】：

感谢您分享方向。是的，我找到了Setting Up Cloud Logging for Java。你知道我可以用来获取 Kafka 集群审计数据的任何 Kafka Connect Sink 连接器吗？
Kafka Connect SinkTask API 本身就是一个消费者（您提供引导服务器、主题、转换器（反序列化器）等）。您需要做的就是编写连接器代码，用于处理SinkTask.put() 方法中的消费记录，如Medium 帖子中所示
@Cricket ，似乎融合云上的审核日志保存在单独的集群上，并且您（目前）无权访问其内部主题，请在此处阅读更多信息 stackoverflow.com/questions/67709863/…
@RanLupovich，你是对的。 Confluent 云上的审计日志保存在单独的内部集群中，并且只能使用其 Confluent Cloud CLI 或使用 java 来访问审计主题。你们知道哪一个是更好的选择吗？我可以用 java 等待 Sink Connector 或 Consumer 吗？如果 Consumer 使用 java，那么是否有任何 GitHub 存储库来说明我们如何实现它？或者我还有其他方法可以实现吗？
@VishalDhanani 如果您可以使用云 cli 或 Java，那么它将按照我的回答工作。就像我说的，Connect Sinks 和 Consumers 在功能上是相同的。