连接两个大 pandas.HDFStore HDF5 文件

Question

这个问题在某种程度上与"Concatenate a large number of HDF5 files"有关。

我有几个巨大的 HDF5 文件（压缩后约 20GB），无法容纳 RAM。它们中的每一个都存储了几个相同格式的pandas.DataFrames，并且索引不重叠。

我想将它们连接成一个 HDF5 文件，其中所有 DataFrame 都正确连接。一种方法是逐块读取它们中的每一个，然后保存到单个文件中，但确实需要相当长的时间。

是否有任何特殊的工具或方法可以在不遍历文件的情况下做到这一点？

Answer 1

请参阅文档 here 了解 odo 项目（以前称为 into）。请注意，如果您使用into 库，则参数顺序已切换（这是更改名称的动机，以避免混淆！）

你基本上可以做到：

from odo import odo
odo('hdfstore://path_store_1::table_name',
    'hdfstore://path_store_new_name::table_name')

像这样执行多个操作将追加到 rhs 存储。

这将自动为您执行块操作。