如何通过熊猫而不是从文件中加载泡菜

Question

因为之前的代码：

def read_pickle_packet(self, sf):
    body = self._read_payload(sf)

    return pickle.load(body)

有一个错误：ImportError: No module named index.base。这是由于服务器和客户端之间的熊猫版本不一致引起的。 我通过更改这样的代码来解决问题：

def read_pickle_packet(self, sf):
    body = self._read_payload(sf)
    filehandler = open("tempFile.pkl", 'w')
    filehandler.write(body)
    filehandler.close()
    return pd.read_pickle("tempFile.pkl")

它可以解决问题。 但我的问题是有没有更快速的方法来加载泡菜对象，而不是将其存储到文件系统中然后读取它。这需要时间和内存。但我无法通过谷歌“熊猫从对象中读取泡菜”找到一些线索。
感谢您的任何建议。

Answer 1

似乎pd.read_pickle 仅用于从文件中读取。 如果您不需要使用 pandas 库，如果您使用 pickle.dumps 和 pickle.loads (https://docs.python.org/3/library/pickle.html)，则可以跳过保存到磁盘。 不过，我不确定这是否适用于您的情况，因为我不清楚您的 _read_payload 功能。

import pandas as pd
import pickle

x = pd.DataFrame({"x": [1,2,3], "y": [4,5,6]})
print(x)

obj = pickle.dumps(x)
z = pickle.loads(obj)
print(z)