Python - 从变量中读取镶木地板数据答案

【问题标题】：Python - read parquet data from a variablePython - 从变量中读取镶木地板数据
【发布时间】：2019-07-29 13:21:50
【问题描述】：

我正在读取 parquet 文件并将其转换为数据框。

from fastparquet import ParquetFile 
pf = ParquetFile('file.parquet') 
df = pf.to_pandas()

有没有办法从变量（以前读取并现在保存 parquet 数据）中读取 parquet 文件？

谢谢。

【问题讨论】：

【解决方案1】：

在 Pandas 中有处理镶木地板的方法。 Here 是对文档的引用。类似的东西：

import pandas as pd 
pd.read_parquet('file.parquet')

应该可以。另请阅读this 帖子以了解引擎选择。

【讨论】：

【解决方案2】：

您也可以使用pandas.read_parquet 使用以下代码从变量中读取文件。我使用pyarrow 后端对此进行了测试，但这也适用于fastparquet 后端。

import pandas as pd
import io

with open("file.parquet", "rb") as f:
    data = f.read()

buf = io.BytesIO(data)
df = pd.read_parquet(buf)

【讨论】：