如何使用 Kafka connect s3 sink 连接器标记 S3 存储桶对象

Question

我们有什么方法可以通过 Kafka Connect S3 接收器连接器标记写入 S3 存储桶中的对象。 我正在阅读来自 Kafka 的消息并使用 S3 接收器连接器在 S3 存储桶中写入 avro 文件。当文件写入 S3 存储桶时，我需要标记文件。

Answer 1

在 GitHub 上的源代码中有一个名为 addTags() 的 API，但它现在是私有的，除了这个名为 S3_OBJECT_TAGGING_CONFIG 的小配置功能允许您添加 start /end 偏移量以及 s3 对象的记录计数。

 configDef.define(
      S3_OBJECT_TAGGING_CONFIG,
      Type.BOOLEAN,
      S3_OBJECT_TAGGING_DEFAULT,
      Importance.LOW,
      "Tag S3 objects with start and end offsets, as well as record count.",
      group,
      ++orderInGroup,
      Width.LONG,
      "S3 Object Tagging"
  );

如果您想添加其他/自定义标签，那么答案是 NO 您现在不能这样做。

有用的功能是从 Kafka 中输入文档的预定义部分获取标签，但目前不可用。