使用 4 gigas 处理 .csv 文件的最佳方法

【问题标题】：Best approach to work with .csv files with 4 gigas使用 4 gigas 处理 .csv 文件的最佳方法
【发布时间】：2021-05-26 07:06:40
【问题描述】：

我从事数据科学。我有一个 .csv 文件，其中包含 5kk 条记录和 3.9gigas 大小。处理它的最佳做法是什么？我通常使用 vscode 或 jupyter，即使我将 max-memory 设置为 10gigas，加载等操作也需要花费太多时间才能完成。

你有什么建议来改进我的工作？

notebook lenovo S145 20gigas ram i7-8565U - Ubuntu

谢谢

【问题讨论】：

【解决方案1】：

如果您想将 CSV 导入数据库进行报告，一个相当快速且简单的选择是使用外部表。它在创建表定义中使用类似于SQLLDR 的语法。建立后，最新保存的 CSV 数据将立即以表格形式出现在数据库中。

【讨论】：

我在考虑。问题是我的 csv 有 136 列。猜想我需要创建一个脚本来获取这些列并创建一个表。它可能对吗？
是的，应该可以。正确创建创建表需要一些努力，但是一旦它工作，您应该处于良好状态。外部表的最大列数取决于数据库平台。看起来 Access 最多可以为外部表占用 256 列 - 您应该可以使用 136..