【问题标题】:avro-gen generated class performanceavro-gen 生成的类性能
【发布时间】:2020-05-26 14:53:10
【问题描述】:

我正在开发一个使用 python 并使用 avro 序列化数据的项目。由于模式很复杂,我使用 avro-gen 来使用 avro-schema 生成类。现在当我创建和填充这些对象时。我的应用程序变得非常慢,每 20 秒生成 1000 条消息。我有大约 200k 条消息要序列化并发布到 kafka。

如何提高应用程序的性能?我无法避免使用 avro-gen,如果这可能是潜在的瓶颈?

【问题讨论】:

    标签: python apache-kafka avro


    【解决方案1】:

    您是否尝试过使用fastavro?它通常比标准的 python avro 库更快。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-07-12
      相关资源
      最近更新 更多