使用 Python 反序列化内存中的 Avro 数据答案

【问题标题】：Deserialize Avro Data In Memory Using Python使用 Python 反序列化内存中的 Avro 数据
【发布时间】：2016-06-10 09:23:49
【问题描述】：

我们正在努力将 Storm 与 Kafka 连接起来。

在我们的设置中，Kafka 将消息存储在 Avro 中。

我们正在使用一个名为“Pyleus”的 Storm 包装器，而 Avro 作为一个变量进入 Bolt。

问题：如何使用任何 Python-Avro 模块反序列化变量中的 Avro 数据？有大量直接在 .avro 文件中反序列化 Avro 的示例。但是，我们的用例有性能要求，所以我们不能先写入文件然后解析。

我们将不胜感激任何帮助、文档和/或示例。

【问题讨论】：

看看这对你有没有帮助groups.google.com/forum/#!topic/confluent-platform/A7B6uSnJa5k
感谢您的评论！

标签： apache-kafka apache-storm avro

【解决方案1】：

假设您已将架构加载到“架构”中，并且将 avro 数据放入“原始字节”中。以下可能会有所帮助

bytes_reader = io.BytesIO(raw_bytes)
decoder = avro.io.BinaryDecoder(bytes_reader)
reader = avro.io.DatumReader(schema)
decoded_data = reader.read(decoder)

【讨论】：