如何使用 python 和 R 将较大的数据集（20GB csv 文件）转换为 hdf5 格式？ [复制]答案

【问题标题】：How to convert larger size dataset (20GB csv file) into hdf5 format using python and R? [duplicate]如何使用 python 和 R 将较大的数据集（20GB csv 文件）转换为 hdf5 格式？ [复制]
【发布时间】：2021-10-06 23:42:19
【问题描述】：

我想将较大的 csv 文件转换为 hdf5 格式。我正在使用 vaex 库，它只接受 hdf5 扩展来加载数据集。我还需要R中上述问题的解决方案。

【问题讨论】：

标签： python r pandas hdf5 vaex

【解决方案1】：

在python中你可以简单地：

pd.read_csv('data.csv').to_hdf('data.h5')

您应该至少有 20GB 的 RAM 来加载 CSV 文件。

Vaex 不支持 csv 文件？

https://vaex.io/docs/example_io.html#Text-based-file-formats

你能试试这个代码吗：

for i, chunk in enumerate(vaex.read_csv('/path/to/data/BigData.csv', chunksize=100_000)):
    df_chunk = vaex.from_pandas(chunk, copy_index=False)
    export_path = f'/path/to/data/part_{i}.hdf5'
    df_chunk.export_hdf5(export_path)

df = vaex.open('/path/to/data/part*')
df.export_hdf5('/path/to/data/Final.hdf5')

来源：https://www.programmersought.com/article/95165112668/

【讨论】：

上面的代码给出了以下错误：'TextFileReader'对象没有属性'columns'。这是由于 vaex.read_csv()。当我用 pd.read_csv() 替换 veax.read_csv() 时，它正在工作。