Unpickling 包含 pandas 数据框的字典会引发 AttributeError：“Dataframe”对象没有属性“_data”答案

【问题标题】：Unpickling dictionary that holds pandas dataframes throws AttributeError: 'Dataframe' object has no attribute '_data'Unpickling 包含 pandas 数据框的字典会引发 AttributeError：“Dataframe”对象没有属性“_data”
【发布时间】：2020-12-12 23:22:24
【问题描述】：

我有一个执行分析并附加结果的类，这些结果是熊猫数据框，作为对象属性：

>>> print(test.image.locate_DF)
              y          x       mass  ...    raw_mass        ep  frame
0     60.177142  59.788709  33.433414  ...  242.080256       NaN      0
1     60.651991  59.773904  33.724308  ...  242.355784       NaN      1
2     60.790437  60.190234  31.117164  ...  236.276671       NaN      2
3     60.771933  60.048123  33.558372  ...  240.981395       NaN      3
4     60.251282  59.775139  31.881009  ...  239.239022       NaN      4
...         ...        ...        ...  ...         ...       ...    ...
7212  68.186380  76.477449  18.122817  ...  176.523091       NaN   9410
7213  68.764444  76.574091  17.486454  ...  173.448306       NaN   9415
7214  68.191152  76.473477  17.402975  ...  172.848119  0.868326   9429
7215  67.034103  76.025885  17.010951  ...  170.928067 -0.600854   9431
7216  68.583276  75.309592  17.852992  ...  178.271558       NaN   9432

随后，我将所有重要的对象属性保存在字典中，并腌制以备后用：

def save_parameters(self, filepath):
        
        param_dict = {}

    try:
            self.image.locate_DF
        except AttributeError:
            pass
        else:
            param_dict['optical_locate_DF'] = self.image.locate_DF

    with open(filepath, 'wb') as handle:
            pickle.dump(param_dict, handle, 5)

当尝试加载该腌制文件时，我完全没有问题，数据框加载完美：

>>> test.save_parameters('test.pickle')
>>> with open('test.pickle', 'rb') as handle:
...     result = pickle.load(handle)
...
>>> print(result.keys())
dict_keys(['optical_path', 'optical_feature_diameter', 'optical_feature_minmass', 'optical_locate_DF', 'electrical_path', 'electrical_raw_data', 'electrical_processed_data', 'electrical_mean_voltage'])
>>> print(result['optical_locate_DF'])
              y          x       mass  ...    raw_mass        ep  frame
0     60.177142  59.788709  33.433414  ...  242.080256       NaN      0
1     60.651991  59.773904  33.724308  ...  242.355784       NaN      1
2     60.790437  60.190234  31.117164  ...  236.276671       NaN      2
3     60.771933  60.048123  33.558372  ...  240.981395       NaN      3
4     60.251282  59.775139  31.881009  ...  239.239022       NaN      4
...         ...        ...        ...  ...         ...       ...    ...
7212  68.186380  76.477449  18.122817  ...  176.523091       NaN   9410
7213  68.764444  76.574091  17.486454  ...  173.448306       NaN   9415
7214  68.191152  76.473477  17.402975  ...  172.848119  0.868326   9429
7215  67.034103  76.025885  17.010951  ...  170.928067 -0.600854   9431
7216  68.583276  75.309592  17.852992  ...  178.271558       NaN   9432

[7217 rows x 9 columns]

但是，在对 hpc 上的一堆这些文件运行我的分析之后，然后尝试打开同一个腌制文件（它现在命名不同，但它与上面显示的文件相同，对其执行的分析相同），我被熊猫抛出一个属性错误。它指出数据框没有“_data”属性。字典具有相同的键，并且打印不是数据框的键没有任何问题：

>>> resultfile = '../results/diam_15_minmass_17_dist_50_mem_5000_tracklength_500/R9_DNA_50mV_001.pickle'
>>> with open(resultfile, 'rb') as handle:
...     result = pickle.load(handle)
...
>>> print(result.keys())
dict_keys(['optical_path', 'optical_feature_diameter', 'optical_feature_minmass', 'optical_locate_DF', 'optical_tracking_distance', 'optical_tracking_memory', 'optical_tracking_DF', 'optical_kinetics_DF', 'electrical_path', 'electrical_raw_data', 'electrical_processed_data', 'electrical_mean_voltage'])
>>> print(result['optical_locate_DF'])
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Users/stevenvanuytsel/miniconda3/envs/simultaneous_measurements/lib/python3.8/site-packages/pandas/core/frame.py", line 680, in __repr__
    self.to_string(
  File "/Users/stevenvanuytsel/miniconda3/envs/simultaneous_measurements/lib/python3.8/site-packages/pandas/core/frame.py", line 801, in to_string
    formatter = fmt.DataFrameFormatter(
  File "/Users/stevenvanuytsel/miniconda3/envs/simultaneous_measurements/lib/python3.8/site-packages/pandas/io/formats/format.py", line 593, in __init__
    self.max_rows_displayed = min(max_rows or len(self.frame), len(self.frame))
  File "/Users/stevenvanuytsel/miniconda3/envs/simultaneous_measurements/lib/python3.8/site-packages/pandas/core/frame.py", line 1041, in __len__
    return len(self.index)
  File "/Users/stevenvanuytsel/miniconda3/envs/simultaneous_measurements/lib/python3.8/site-packages/pandas/core/generic.py", line 5270, in __getattr__
    return object.__getattribute__(self, name)
  File "pandas/_libs/properties.pyx", line 63, in pandas._libs.properties.AxisProperty.__get__
  File "/Users/stevenvanuytsel/miniconda3/envs/simultaneous_measurements/lib/python3.8/site-packages/pandas/core/generic.py", line 5270, in __getattr__
    return object.__getattribute__(self, name)
AttributeError: 'DataFrame' object has no attribute '_data'

我查看了泡菜手册，并通过一堆 SO 问题，但我似乎无法找出这里出了什么问题。有谁知道如何解决这个问题，以及我是否仍然可以访问这些数据？

【问题讨论】：

检查尺寸。都一样吗？检查你是否有“_data”，就像错误所说的那样。
因为它与我刚刚在我的计算机上执行的分析完全相同，我希望数据框是相同的，具有相同的尺寸等。但是，我无法检查，因为我无法加载数据框。与该数据帧交互的每个命令都会引发相同的“_data”错误。还有其他方法可以检查吗？
调用result['optical_locate_DF'].values时，出现递归错误（调用python对象时超出最大递归深度）。

标签： python-3.x pandas dataframe pickle

【解决方案1】：

在反复检查模块版本漫长而痛苦的过程后，我发现这个错误是由于熊猫版本的更新引起的。我的 mac 仍然运行 pandas 1.0.5，而 hpc 运行的是 pandas 1.1.0。显然，两者之间存在不匹配（不确定是在酸洗之后还是用于保存的其他文件格式）。

【讨论】：

【解决方案2】：

我遇到了同样的问题。我在 Pandas 1.1.1 的环境中生成了一个 Pandas 数据框，并将其保存到一个 pickle 文件中。

with open('file.pkl', 'wb') as f:
    pickle.dump(data_frame_object, f)

在另一个会话中解压它并打印数据框后，我得到了同样的错误。在不同环境中进行的一些测试显示了以下模式：

Pandas 环境 >= 1.1.0：工作
Pandas == 1.0.5 的环境：错误消息如上
Pandas == 1.0.3 的环境：内核崩溃

我在使用 HDF5 格式时遇到了同样的错误，因此这似乎是数据框和不同 Pandas 版本的兼容性问题。

在受影响的环境中将 Pandas 更新到 1.1.1 为我解决了这个问题。

【讨论】：

【解决方案3】：

也许问题已经解决了。
emmm，不过我还是想加一些cmets。

我将pkl文件保存在服务器上，但是当我在我的MAC上加载它时，它崩溃了，显示'Dataframe' object has no attribute '_data'

最后，我发现我 Mac 上的 pandas 是 1.0.5 而服务器上是 1.1.5。当我将它更新到最新版本时，它就可以正常工作了。

【讨论】：