【问题标题】:How to read nested struct Parquet files in Python?如何在 Python 中读取嵌套的结构 Parquet 文件?
【发布时间】:2020-12-15 13:43:45
【问题描述】:

我有一个 parquet 文件,其中包含结构列表,我似乎无法使用任何可用的 python parquet 库来读取它。其中一些返回错误,指出尚不支持“结构列表”,而其他只是使用 None 对象制作 pandas 数据框。如果有人对此有任何经验,那将有很大帮助。在过去的几天里,我一直在用这个来敲打我的头。有没有其他方法可以以某种方式以编程方式读取文件或将该文件转换为其他格式然后读取它?

我希望可以使用 Python 调用 Python 原生支持或 c 库,而不涉及调用或启动 Spark 等其他服务。

【问题讨论】:

  • 您使用的是哪个版本的pyarrow?您可能需要升级以获得对结构列表的支持
  • 我使用的是 1.0.1,这是最新版本@Arthur
  • 现在应该可以使用最新的 pyarrow 2.0

标签: python parquet pyarrow fastparquet


【解决方案1】:

尝试卸载 pyarrow 并安装 fastparquet。这对我有用。我正在尝试使用 pandas 将其转换为 CSV。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-06-13
    • 1970-01-01
    • 1970-01-01
    • 2017-03-04
    • 1970-01-01
    • 2021-10-15
    • 1970-01-01
    • 2019-10-10
    相关资源
    最近更新 更多