保存到 hdf5 非常慢（Python 冻结）

Question

我正在尝试将瓶颈值保存到新创建的 hdf5 文件中。 瓶颈值以(120,10,10, 2048) 的形式出现。 保存一个单独的批次占用了超过 16 个演出，python 似乎在这一批次中冻结了。根据最近的发现（见更新，看来hdf5占用大内存还可以，但冻结部分似乎是个小故障。

我只是想保存前 2 个批次用于测试目的，而且只有 训练数据集（再次，这是一个测试运行），但我什至无法通过第一批。它只是停在第一批，不会循环到下一次迭代。如果我尝试检查 hdf5，资源管理器会变得迟缓，Python 会冻结。如果我试图杀死 Python（即使没有检查 hdf5 文件），Python 也不会正确关闭并强制重启。

以下是相关代码和数据：

总数据点约为 90,000 个，分批发布 120 个。

Bottleneck shape is (120,10,10,2048)

所以我要保存的第一批是(120,10,10,2048)

这是我尝试保存数据集的方法：

with h5py.File(hdf5_path, mode='w') as hdf5:
                hdf5.create_dataset("train_bottle", train_shape, np.float32)
                hdf5.create_dataset("train_labels", (len(train.filenames), params['bottle_labels']),np.uint8)
                hdf5.create_dataset("validation_bottle", validation_shape, np.float32)
                hdf5.create_dataset("validation_labels",
                                              (len(valid.filenames),params['bottle_labels']),np.uint8)



 #this first part above works fine

                current_iteration = 0
                print('created_datasets')
                for x, y in train:

                    number_of_examples = len(train.filenames) # number of images
                    prediction = model.predict(x)
                    labels = y
                    print(prediction.shape) # (120,10,10,2048)
                    print(y.shape) # (120, 12)
                    print('start',current_iteration*params['batch_size']) # 0
                    print('end',(current_iteration+1) * params['batch_size']) # 120

                    hdf5["train_bottle"][current_iteration*params['batch_size']: (current_iteration+1) * params['batch_size'],...] = prediction
                    hdf5["train_labels"][current_iteration*params['batch_size']: (current_iteration+1) * params['batch_size'],...] = labels
                    current_iteration += 1
                    print(current_iteration)
                    if current_iteration == 3:
                       break

这是打印语句的输出：

(90827, 10, 10, 2048) # print(train_shape)

(6831, 10, 10, 2048)  # print(validation_shape)
created_datasets
(120, 10, 10, 2048)  # print(prediction.shape)
(120, 12)           #label.shape
start 0             #start of batch
end 120             #end of batch

# Just stalls here instead of printing `print(current_iteration)`

它只是在这里停顿一段时间（20 分钟 +），hdf5 文件的大小慢慢增长（现在大约 20 个演出，在我强行杀死之前）。实际上我什至不能用任务管理器强制杀死，我必须重新启动操作系统，在这种情况下才能真正杀死 Python。

更新

在玩了一会儿我的代码之后，似乎有一个奇怪的错误/行为。

相关部分在这里：

          hdf5["train_bottle"][current_iteration*params['batch_size']: (current_iteration+1) * params['batch_size'],...] = prediction
                hdf5["train_labels"][current_iteration*params['batch_size']: (current_iteration+1) * params['batch_size'],...] = labels

如果我运行这些行中的任何一个，我的脚本将通过迭代，并按预期自动中断。因此，如果我运行非此即彼，则不会冻结。它也发生得相当快——不到一分钟。

如果我运行第一行 ('train_bottle')，我的内存占用了大约 69-72 gigs，即使它只是几批。如果我尝试更多批次，内存是一样的。所以我假设train_bottle 决定存储基于我分配数据集的大小参数，而不是实际填充时。 因此，尽管有 72 个演出，但它的运行速度相当快（一分钟）。

如果我运行第二行 train_labels ，我的内存会占用几兆字节。 迭代没有问题，执行break语句。

但是，现在出现了问题，如果我尝试运行两条线（在我的情况下这是必要的，因为我需要同时保存“train_bottle”和“train_labels”），我在第一次迭代时遇到了冻结，并且它不会继续到第二次迭代，即使在 20 分钟后也是如此。 Hdf5 文件正在缓慢增长，但如果我尝试访问它，Windows 资源管理器会变慢，而且我无法关闭 Python——我必须重新启动操作系统。

所以我不确定在尝试运行两条线路时出现什么问题——就好像我运行了内存饥饿的train_data 线路，如果运行良好并在一分钟内结束。

Answer 1

这个答案更像是对@max9111 和@Clock ZHONG 之间争论的评论。我写这篇文章是为了帮助其他人想知道哪个更快 HDF5 或 np.save()。

我使用了@max9111 提供的代码，并按照@Clock ZHONG 的建议进行了修改。确切的 jupyter notebook 可以在https://github.com/wornbb/save_speed_test找到。

简而言之，按照我的规范：

• SSD：三星 960 EVO
• CPU：i7-7700K
• 内存：2133 MHz 16GB
• 操作系统：Win 10

HDF5 达到 1339.5 MB/s，而 np.save 仅为 924.9 MB/s（未压缩）。

另外，正如@Clock ZHONG 所指出的，他/她在使用 lzf -Filter 时遇到了问题。如果你也有这个问题，可以在 win 10 上使用 python3 的 conda 分发包运行已发布的 jupyter notebook。

Answer 2

如果你有足够的 DDR 内存并且想要极快的数据加载和保存性能，请直接使用 np.load()&np.save()。 https://stackoverflow.com/a/49046312/2018567 np.load()&np.save() 可以为您提供最快的数据加载和保存性能，到目前为止，我找不到任何其他工具或框架可以与之匹敌，甚至 HDF5 的性能只有 1/5 ~ 1/7它。

Answer 3

将数据写入 HDF5

如果您在未指定 chunkshape 的情况下写入分块数据集，h5py 会自动为您执行此操作。由于 h5py 不知道您如何不从数据集中写入或读取数据，因此这通常会导致性能不佳。

您还使用 1 MB 的默认块缓存大小。如果您只写入块的一部分并且该块不适合缓存（这很可能是 1MP 块缓存大小），则整个块将在内存中读取、修改并写回磁盘。如果这种情况多次发生，您将看到远远超出 HDD/SSD 的顺序 IO 速度的性能。

在下面的示例中，我假设您只在第一个维度上读取或写入。如果不是，则必须根据您的需要进行修改。

import numpy as np
import tables #register blosc
import h5py as h5
import h5py_cache as h5c
import time

batch_size=120
train_shape=(90827, 10, 10, 2048)
hdf5_path='Test.h5'
# As we are writing whole chunks here this isn't realy needed,
# if you forget to set a large enough chunk-cache-size when not writing or reading 
# whole chunks, the performance will be extremely bad. (chunks can only be read or written as a whole)
f = h5c.File(hdf5_path, 'w',chunk_cache_mem_size=1024**2*200) #200 MB cache size
dset_train_bottle = f.create_dataset("train_bottle", shape=train_shape,dtype=np.float32,chunks=(10, 10, 10, 2048),compression=32001,compression_opts=(0, 0, 0, 0, 9, 1, 1), shuffle=False)
prediction=np.array(np.arange(120*10*10*2048),np.float32).reshape(120,10,10,2048)
t1=time.time()
#Testing with 2GB of data
for i in range(20):
    #prediction=np.array(np.arange(120*10*10*2048),np.float32).reshape(120,10,10,2048)
    dset_train_bottle[i*batch_size:(i+1)*batch_size,:,:,:]=prediction

f.close()
print(time.time()-t1)
print("MB/s: " + str(2000/(time.time()-t1)))

编辑 循环中的数据创建花费了相当多的时间，所以我在时间测量之前创建了数据。

这应该提供至少 900 MB/s 的吞吐量（CPU 受限）。使用真实数据和较低的压缩率，您应该可以轻松达到硬盘的顺序 IO 速度。

使用 with 语句打开一个 HDF5-File 也可能导致性能不佳，如果您错误地多次调用此块。这将关闭并重新打开文件，删除块缓存。

为了确定正确的块大小，我还建议： https://stackoverflow.com/a/48405220/4045774 https://stackoverflow.com/a/44961222/4045774