将Kafka中的Avro转Parquet直接转入S3答案

【问题标题】：Convert Avro in Kafka to Parquet directly into S3将Kafka中的Avro转Parquet直接转入S3
【发布时间】：2019-10-28 04:22:35
【问题描述】：

我在 Kafka 中有以 Avro 格式存储的主题。我想使用整个主题（在接收时不会更改任何消息）并将其转换为 Parquet，直接保存在 S3 上。

我目前正在这样做，但它需要我一次消费来自 Kafka 的消息并在本地机器上处理，将它们转换为 parquet 文件，一旦消费了整个主题并且 parquet 文件完全写入，关闭写入处理，然后启动 S3 分段文件上传。或简称| Avro in Kafka -> convert to parquet on local -> copy file to S3 |。

我想做的是| Avro in Kafka -> parquet in S3 |

其中一个注意事项是 Kafka 主题名称不是静态的，需要在参数中输入，使用一次，然后不再使用。

我已经研究了 Alpakka，它似乎是可能的 - 但目前还不清楚，我还没有看到任何例子。有什么建议吗？

【问题讨论】：

Parquet Output From Kafka Connect的可能重复
'Sup Mike/John/Craig 和其他任何人！

标签： amazon-s3 apache-kafka parquet apache-kafka-connect

【解决方案1】：

您刚刚描述了 Kafka Connect :)

Kafka Connect 是 Apache Kafka 的一部分，使用 S3 connector plugin。虽然，目前 Parquet 支持的开发是still in progress。

有关 Kafka Connect 的入门知识，请参阅 http://rmoff.dev/ksldn19-kafka-connect

【讨论】：