键值字符串的 h5py 数据集中的数据检索缓慢

Question

给定以下 h5py 文件root -> group1 -> million key,val pairs:
检索任意数量的数据集（偶数 1 个）需要很长时间（约 10 秒），我想知道是否可以以不同的方式插入它们以控制该行为（我假设缓存对于我的用例来说太大了，但默认大小为 1MB)
行为如下：

script A

hdf5 = h5py.File(path_to_h5py, libver='latest',mode='a')
hdf5_dataet = hdf5.create_group(name_of_dataset)
for key, val in tqdm(dataset.items()):
    hdf5_dataet.create_dataset(json.dumps(key),data=json.dumps(val))

script B

f = h5py.File(path_to_h5py,'r')
data = f[name_of_dataset]
key_example = next(data.__iter__()) ---------> This takes 10 seconds

Answer 1

HDF5 不像 Python 字典那样使用键/值对。数据结构更像 NumPy 数组。我不知道你最终想要做什么。 Script B 有一个更简单的迭代器。试试这个：

h5f = h5py.File(path_to_h5py,'r')
data = h5f[name_of_dataset]
for key_example in data:
    print (key_example)

于 2020 年 4 月 25 日添加简单测试以检查 I/O 性能：

import h5py
import time

upper = 'ABCDEFGHIJKLMNOPQRSTUVWXYZ'
lower = 'abcdefghijklmnopqrstuvwxyz'
nums = '0123456789'

with h5py.File('SO_61417130.h5','w') as h5w:

    nrows = 16
    nrpts = 100

    #vstr_dt = h5py.string_dtype(encoding='utf-8') # for h5py 2.10.0
    vstr_dt = h5py.special_dtype(vlen=str)   # for h5py 2.9.0
    vstr_ds = h5w.create_dataset('testvstrs', (nrpts*nrows,1), dtype=vstr_dt )
    print (vstr_ds.dtype, ":", vstr_ds.shape)    

    rcnt = 0
    for cnt1 in range(nrpts) :
        for cnt2 in range(nrows) :
            vstr_ds[rcnt]= ((cnt2+1)*(upper+lower+nums))
            rcnt +=1

    print (vstr_ds.dtype, ":", vstr_ds.shape)    
    print ('done writing')

    start = time.clock()
    for cnt in range(-nrows,0,1) :
        find_str = vstr_ds[cnt] 
        print (len(find_str[0]))

    print ('Elapsed time =', (time.clock() - start) )