通过 GPU 加速 dataframe.to_excel 操作

Question

我正在提取一些数据，其中我经常需要操作获取的数据的某些部分，然后将其附加到另一个包含组合数据集的数据帧。我经常使用 dataframe.to_excel 保存数据框。由于有很多数据，它已经开始成为一个耗时的操作，读取前一个文件，追加并再次保存它，尽管有足够的 CPU 和 RAM。我正在使用 GCP，一个 N1 型 8vCPU 和 30GB 内存。此外，由于我正在为各种项目一起运行同一脚本的各种实例，使用 GPU 会加快这些速度吗？

Answer 1

我从来没有自己做过，但我认为这可以通过使用一些 Pandas 替代品来实现。
我发现了这个thread，用户似乎为类似问题提供了一些解决方案。

Answer 2

我也没有试过这个。我可以提供几个建议

• 而不是 to_excel 尝试使用 to_csv 可能会有小收获。
• 你可以试试这个库https://github.com/modin-project/modin，这个库似乎使读取和操作更快，但我不确定是否能够进行写入操作。
• 或者您可以将其移至 to_excel 行的其他函数，并通过旋转一个新线程来执行该操作。