【问题标题】:SQLite - Importing csv-files is limited to 1 Mio?SQLite - 导入 csv 文件仅限于 1 个 Mio?
【发布时间】:2013-10-08 10:00:45
【问题描述】:

我想将 6 百万行导入 sqlite 数据库。它工作正常,但唯一的限制是 sqlite 一次只能导入 1 个 Mio 行。我不得不将 csv 文件拆分为 7 个文件以导入所有行。我尝试使用 SQLite Manager(Firefox 插件)和 sqlite 命令工具导入。两者都导入了 1 个 Mio 行。是否有我必须更改的参数?
操作系统:Windows XP 和 7、64 位
感谢您的提示。

【问题讨论】:

  • 快进到 2021 年,我刚刚使用“内存中”默认值导入了一个包含超过 2000 万行的 1.3GB CSV 文件,毫不费力。

标签: sqlite csv import


【解决方案1】:

(如果需要,我会使用 DBD::CSVDBD::SQLite 编写自己的 Perl 脚本来执行此任务。)

如果您不了解 Perl,可以使用 csv2sqlite - 自动执行此任务的 Perl 脚本。

由于您使用的是 Windows,因此您需要先安装 Perl - 下载并安装 ActivePerl。然后,从命令行使用ppm 安装csv2sqlite

ppm install App::csv2sqlite

在此之后,您将拥有可用的命令行实用程序csv2sqlite,它应该适用于超过 100 万行的 CSV 数据大小。

【讨论】:

  • 非常感谢。我会尝试报告。我已经安装了 Strawberry-Perl。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2011-04-16
  • 1970-01-01
  • 1970-01-01
  • 2013-05-16
  • 1970-01-01
  • 2013-08-06
  • 2012-11-04
相关资源
最近更新 更多