有没有办法将发布到 Kafka 主题的 Avro 文件转换为 python 中的平面 SQL 表？

【问题标题】：Is there a way to convert an Avro file published to a Kafka topic to a flat SQL table in python?有没有办法将发布到 Kafka 主题的 Avro 文件转换为 python 中的平面 SQL 表？
【发布时间】：2021-08-02 04:55:21
【问题描述】：

我有一个 Avro 架构（avsc 文件）和以 Avro 格式发布在 kafka 主题中的数据，我需要将其转换为平面 SQL 表。

【问题讨论】：

标签： python sql apache-kafka avro

【解决方案1】：

如果数据是由 Confluent Avro 序列化程序之一生成的，您可以使用他们的 Kafka Connect JDBC Sink 写入您选择的 SQL 数据库（例如 sqlite，如果您确实需要文件）

否则，您将需要为此用例编写自己的 Python 代码

【讨论】：