【发布时间】：2010-11-13 17:52:24
【问题描述】：
我们正在评估 HDF5 在分块数据集方面的性能。 特别是我们试图弄清楚是否可以跨不同的连续块进行读取，以及这样做会如何影响性能？ 例如。我们有一个块大小为 10 的数据集，一个具有 100 个值的数据集，并且要读取 23 到 48 的值。会不会有很大的性能损失？
非常感谢！
【问题讨论】：
标签： hdf5
【发布时间】：2010-11-13 17:52:24
【问题描述】：
我不知道如何具体回答您的问题，但我建议您使用 1024 的块大小（或任何更高的 2 次方）。我不了解 HDF5 的内部结构，但根据我对文件系统的了解，以及我们所做的粗略基准测试，1024 正好。
【讨论】：
-
非常感谢您的回答！我已经观察到块大小本身是一个重要的性能因素。正如您所提到的，大于 1000 的块大小是一个很好的起点。我试图弄清楚从不同块读取连续数据时性能如何受到影响。但恐怕这是一个无法具体回答的问题。所以我们必须执行几个基准测试。