如何使用 pyarrow 读取picke文件

Question

我有一堆代码可以使用 Pandas 读取多个 pickle 文件：

dfs = []
    for filename in glob.glob(os.path.join(path,"../data/simulated-data-raw/", "*.pkl")):
        with open(filename, 'rb') as f:
            temp = pd.read_pickle(f)
            dfs.append(temp)
    df = pd.DataFrame()
    df = df.append(dfs)

如何使用pyarrow 读取文件？同时，这种方式不起作用并引发错误。

dfs = []
for filename in glob.glob(os.path.join(path, "../data/simulated-data-raw/", "*.pkl")):
    with open(filename, 'rb') as f:
        temp = pa.read_serialized(f)
        dfs.append(temp)
df = pd.DataFrame()
df = df.append(dfs)

Answer 1

仅供参考，pyarrow.read_serialized 已弃用，如果愿意序列化数据，您应该只使用箭头 ipc 或 python 标准 pickle 模块。

无论如何，我不确定您要实现什么，使用 Pickle 保存对象会尝试使用与保存时完全相同的类型对它们进行反序列化，因此即使您不使用 pandas 来加载对象，你仍然会得到一个 pandas DataFrame（因为那是你腌制的），并且仍然需要安装 pandas 才能创建一个。

例如，您可以轻松摆脱 pandas.read_pickle 并仅将其替换为 pickle.load，但您得到的仍然是 pandas.DataFrame

import pandas as pd
original_df = pd.DataFrame({"foo": range(5), "bar": range(5, 10)})
pd.to_pickle(original_df, "./dummy.pkl")

import pickle
loaded_back = pickle.load(open("./dummy.pkl", "rb"))
print(loaded_back)