多个文件或单个文件到 HDFStore

Question

我正在将 100 个 csv 文件转换为数据帧并将它们存储在 HDFStore 中。

有什么优点和缺点

a - 将 csv 文件存储为 100 个不同的 HDFStore 文件？

b - 将所有 csv 文件作为单独的项目存储在单个 HDFStore 中？

除了性能问题之外，我还在问这个问题，因为我遇到了稳定性问题，而且我的 HDFStore 文件经常损坏。所以，对我来说，单个 HDFStore 存在风险。但是，我想知道拥有一家商店是否有好处。

Answer 1

这些是区别：

多个文件

1. 使用多个文件时，写入时只能损坏单个文件（例如，写入时出现电源故障）
2. 您可以并行写入多个文件（注意 - 永远不要尝试并行处理单个文件，否则会损坏它！！！）

单个文件

1. 如果是逻辑集则分组

恕我直言，多个文件的优势胜过使用单个文件，因为您可以通过使用子目录轻松复制分组属性