从 Excel 表构建 hdf5 结构

Question

我正在从 Excel 表构建一个键列表：

我希望每个键都有一个“X”和一个“Y”子组。然后将其保存到密钥列表中：

import pandas as pd

df = pd.read_excel('file.xlsx', usecols = ['A','B','C'])
print(df)

keylist = []
list1, list2, list3 = df['A'].tolist(), df['B'].tolist(), df['C'].tolist()

for i in zip(list1, list2):
    val = map(str, i)
    keylist.append("/".join(val) + '/X')
    val = map(str, i)
    keylist.append("/".join(val) + '/Y')

print(keylist)

密钥列表如下所示：

现在我想从密钥列表构建一个 hdf5 结构。它应该是这样的：

pd.HDFStore 有这方面的应用吗？

编辑：不幸的是，我们在我的办公室只使用 Pandas 而不是 h5py 来处理 hdf5 文件。目前提供的解决方案（h5py）不起作用。

Answer 1

如果您的数据由float 数组组成，我建议您不要为此使用pd.HDFStore。

改为使用h5py，它在语法上与numpy 有很好的联系。 pandas 仅用于读取您的 Excel 文件。阅读h5py documentation 了解如何将数据集添加到组。

这种方法的好处是您会发现它更高效（pd.HDFStore 有开销）和可传输（您的 HDF5 文件可以在 Python 之外读取）。

import pandas as pd
import h5py

df = pd.DataFrame([['blue', 'a', 'a1'], ['blue', 'a', 'a2'],
                   ['blue', 'b', 'b1'], ['red', 'c', 'c1']],
                  columns=list('ABC'))

## read in file
# df = pd.read_excel('group_file.xlsx')

## create group strings
group_strings = ['/'+'/'.join(route) for route in df.values]

# ['/blue/a/a1', '/blue/a/a2', '/blue/b/b1', '/red/c/c1']

## create HDF5 groups
with h5py.File('file.h5', 'w') as f:
    for group in group_strings:
        for item in ('X', 'Y'):
            grp = f[group+'/'+item]