【发布时间】：2020-08-11 02:19:24
【问题描述】：
我正在循环加载以 .npy 格式保存的 10-15MB numpy 数组，在 Google Colab 中每次加载大约需要 1.5 秒。这是可以接受的速度吗？到目前为止，它是我循环中最慢的部分。此外，我第二次运行循环时速度更快（可能是因为加载的文件被保存到 RAM 中？）但最终它再次变慢（内存不足？）。
这是我用来加载数组的代码：
data = np.load('/content/drive/My Drive/Share/Daily Data/Processed/' + str(fileName))
任何加快速度的建议都将不胜感激，现在我每个循环加载 1500 个数组，因此每个循环大约需要 25 分钟。数组必须单独加载（请不要建议我将它们全部附加并一次加载，我不能）。
【问题讨论】：
-
np.load是将npy文件加载到数组中的唯一方法。任务很简单，但磁盘/网络操作需要时间。对于很多大型数组，内存管理会减慢速度。