将大型 CSV(10GB) 转换为 excel 文件答案

【问题标题】：Converting large CSV(10GB) to excel files将大型 CSV(10GB) 转换为 excel 文件
【发布时间】：2023-01-21 15:37:48
【问题描述】：

目前正在研究将大型 csv 转换为指定格式（.txt、.xls、xlsx）的过程。

此进程将在 GCP Cloud Run 的 docker 容器中运行，配备 8C 和 32GB 内存

我已经尝试过数据框库（pandas、dask），它们有一种输出为不同文件格式的方法，但它们只需要很长时间（大约 3000 秒）。

数据框库不是为这些任务而构建的吗？不对这些文件做任何分析工作，只是转换它们。

【问题讨论】：

【解决方案1】：

Dataframe 库可能比特定的转换工具效率低，因为它们旨在将数据读入内存并有效地操作数据，而不是仅仅将其从一个文件转换为另一个文件。

有一些专为快速转换文件而设计的特定开源工具可能更适合此类工作https://github.com/mentax/csv2xlsx。

但是，如果数据集很大，从磁盘读取数据所需的 I/O 量可能会成为瓶颈。您也可以尝试其他磁盘类型https://cloud.google.com/compute/docs/disks/performance

【讨论】：

【解决方案2】：

您真的需要在 Excel 文件中放入 10GB 吗？您是否尝试过使用 Polars？

【讨论】：