将同一 Kafka 主题中的事件类型写入不同的 S3 存储桶

Question

我有一个要求，我将 JSON 消息（具有不同的模式）发送到同一个 Kafka 主题。但是，在同步到 S3 时，我必须根据架构将不同的文件夹写入 S3。

能否请您告诉我如何在 Kafka Confluent 中执行此操作？我正在查看单个消息事务，但无法弄清楚。

谢谢

Answer 1

你使用 Avro 序列化器吗？

只要你有反序列化的对象，你就可以决定架构是什么。

if( typeof(yourMessage) == YourModelType1 ) {
    
}
else if( typeof(yourMessage) == YourModelType2 ) {
    
}