H2数据库批量上传

Question

我的任务是将一些数据从 mysql 加载到 h2。我们必须在 UI 级别渲染一棵树，该树有大约 50000 个节点。因此认为从 H2 读取可能会减少延迟。

为此，我必须将大约 1M（每个客户都有自己的树）记录从 MySQL 加载到 H2。加载部分由应用程序处理。它从 MySQL 读取并对 H2 进行批量更新。它在一次执行时处理 40000 条记录。但是随着迁移过程的继续，服务器内存不足。

我尝试过使用“SET LOG 0, SET LOCK_MODE 0, SET UNDO_LOG 0”来有效地加载数据，但服务器内存不足仍然是一样的。

我已经为堆设置了 512M 内存。

H2 文档说使用“create table ... as select ...”来更快地加载数据，但我认为这不会减少加载时间，因为应用程序必须读取 1M 记录并创建 CSV 文件。

有人可以推荐一个方法吗？

Answer 1

为避免创建 CSV 文件，您可以使用 CREATE LINKED TABLE 语句或使用 CALL LINK_SCHEMA 创建 linked tables。然后使用CREATE TABLE ... AS SELECT复制数据。

至于内存问题，你是否创建了内存数据库？如果是，您可以使用in-memory file system, or the compressed in-memory file system：jdbc:h2:memFS:test 或jdbc:h2:memLZF:test 而不是jdbc:h2:mem:test 来节省内存（以牺牲一些速度为代价）。如果您没有使用内存数据库，那么我不确定问题出在哪里。