使用 Python 快速加载 gzip 数据

【问题标题】：Load gzip data fast with Python使用 Python 快速加载 gzip 数据
【发布时间】：2022-06-17 01:04:10
【问题描述】：

我有一个大文件（约 500 个月），其中包含这样的字典：

{'data1': {..},
 'data2': {..},
 'data3': {..},
  ...  }

此文件保存为 gzip（使用 Python）以优化内存。现在我查询了很多这个文件，所以当我只想得到'data2'时，我需要全部加载并查找data2，这需要时间加载和内存。有没有办法只加载我们想要的元素？或者至少可以更快地加载文件？

谢谢，

【问题讨论】：

• 我猜使用 pyspark

标签： python load query-optimization gzip