【问题标题】:Why np.arrays and lists work with `allow_pickle=False`, but dictionaries do not?为什么 np.arrays 和列表可以与 `allow_pickle=False` 一起使用,而字典却不行?
【发布时间】:2020-05-03 22:01:48
【问题描述】:

本题涉及np.save 和np.load 最佳实践。由于较新的 numpy 版本 1.16.3,np.load 中的默认设置为allow_pickle=False。

保存列表后,进一步的加载声明使用默认的allow_pickle=False 就可以正常工作:

>> x = [0, 1, 2]                            
>> np.save('my_x_list.npy', x)                
>> loaded_x = np.load('my_x_list.npy') 
>> loaded_x                        
Out: array([0, 1, 2])

numpy 数组也是如此:

>> y = np.arange(10)                            
>> np.save('my_y_numpy_array.npy', y)                
>> loaded_y = np.load('my_y_numpy_array.npy') 
>> loaded_y                          
Out: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

但是,字典会产生此错误:

>> mydict = {'a': 4, 'b': 5}
>> np.save('my_dict.npy', mydict)
>> loaded_z = np.load('my_z_dict.npy')
ValueError: Object arrays cannot be loaded when allow_pickle=False

据我了解,字典、列表和numpy数组都是Object arrays。因此,人们会期望 numpy 数组或列表也会引发此错误。为什么字典会引发此错误,而 numpy 数组或列表不会引发此错误?

【问题讨论】:

  • 出于安全原因更改了默认 allow_pickle。它减少了从文件中加载不良内容的机会。您必须明确允许对来自受信任来源的文件进行 pickle 加载。如果没有 pickle,load 只能是一个安全的数字(或字符串)数组。

标签: python numpy


【解决方案1】:

据我了解,字典、列表和numpy数组都是Object arrays

不,这取决于列表中值的数据类型。遇到此错误的原因是您试图从dict 对象创建numpy.array,该对象将始终给出“对象数组”,即numpy.array 和dtype=object。见

>>> import numpy as np
>>> np.array({'a': 4, 'b': 5})
array({'a': 4, 'b': 5}, dtype=object)

然而,当使用数字列表(整数、浮点数、复数等)创建numpy.array 时,该数组将有一个数字dtype,不需要在这里腌制。

>>> np.array([1, 2, 3]).dtype
dtype('int64')

您可以将文件中的字典(甚至其他objects)加载到numpy.array、using the allow_pickle parameter、例如

np.load('dictionary.npy', allow_pickle=True)

【讨论】:

  • 感谢您的回答。感谢您的评论。我了解默认 allow_pickle=False 是出于安全原因设置的。在这个例子中,npy 文件是从我的脚本每次运行时生成的;在这种情况下是否存在加载错误数据的风险?
  • 在本地实验场景中使用pickle 对我来说很好。在生产中使用它可以很好地在您的服务之间传输 Python 对象(有预防措施)。请参阅stackoverflow.com/questions/21752259/python-why-pickle 了解有关此问题的更多见解。
猜你喜欢
  • 1970-01-01
  • 2017-06-01
  • 2011-10-18
  • 2019-05-20
  • 1970-01-01
  • 2018-09-22
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多