在python中更改巨大HDF5数组的数据类型

Question

我有 4 个 HDF5 文件，每个文件大小约为 15GB。每个都采用 N_i x 2048 x 7 x 7 的形式。每个都是 float64 格式。我想将它们合并到一个 float32 类型的 N x 2048 x 7 x 7 数据集。我已经阅读了 h5py 文档并且知道数据集的数据类型无法更改。

所以我唯一的想法就是

1. 将所有文件转换为 numpy 数组。
2. 合并数组。
3. 从 float64 转换为 float32。
4. 创建新数据集。

这种方法的明显问题是我只有 32GB 的 RAM，而且我无法将这些数组放入内存中。如何绕过这些限制？

Answer 1

首先，我同意，尝试将它们加载为numpy，然后更改 dtype 以获得一些内存。

import numpy as np
import h5py

hf = h5py.File('file.h5', 'r')
n1 = np.array(hf["dataset_name"][:])

print(n1)

如您所述，在第 3 步之后，如果您的系统内存不足，则没有解决方案如果您想一次加载所有内容。您需要找到一台具有足够内存的机器完成这项任务。