HSQLDB Bulk Load 大量数据

Question

我有一个 10GB 大小和 5 亿行的数据集。它在 CSV 文件中。如何在最短的时间内有效地将这些数据加载到表中。

任何帮助将不胜感激

Answer 1

使用 HSQLDB，必须在加载数据之前在表上创建约束和索引。

在加载几千行的每一块后提交数据。

如果表是 CACHED（基于磁盘）表，并且您可以使用大量内存来加载数据，那么请按照设置大缓存参数的指南并以较大的最大内存分配启动 Java 进程。

这将花费很长时间，与表上的约束/索引数量成正比。

使用 PreparedStatement 会稍微加快速度，但不会加快速度。