JOOQ 从大表中获取数据：良好实践答案

【问题标题】：JOOQ fetching data from large table : good practiseJOOQ 从大表中获取数据：良好实践
【发布时间】：2017-02-09 04:09:14
【问题描述】：

我有一个外部 api，一个用于下载，另一个用于从 db 表 [postgresql] 上传数据。桌子相当大。随着时间的推移，我们观察到服务器会缓慢地继续占用内存，但不会删除太多，它会抛出错误并退出[有时 linux 会关闭它]。我检查了内存转储，但无法找出与我的代码相关的任何内容。我不使用任何本地缓存或类似的东西。但是今天我得到了这个-

java.lang.OutOfMemoryError: GC overhead limit exceeded
        at java.sql.Timestamp.toString(Timestamp.java:350)
        at java.lang.String.valueOf(String.java:2994)
        at org.jooq.impl.AbstractParam.name(AbstractParam.java:107)
        at org.jooq.impl.AbstractParam.<init>(AbstractParam.java:81)
        at org.jooq.impl.AbstractParam.<init>(AbstractParam.java:77)
        at org.jooq.impl.Val.<init>(Val.java:63)
        at org.jooq.impl.DSL.val(DSL.java:15157)
        at org.jooq.impl.Tools.field(Tools.java:1092)
        at org.jooq.impl.Tools.fields(Tools.java:1226)
        at org.jooq.impl.BatchSingle.executePrepared(BatchSingle.java:231)
        at org.jooq.impl.BatchSingle.execute(BatchSingle.java:182)
        at org.jooq.impl.BatchCRUD.executePrepared(BatchCRUD.java:159)
        at org.jooq.impl.BatchCRUD.execute(BatchCRUD.java:100)

对于获取，我使用普通的 fetch 函数，对于将数据转储到数据库中，我使用 JOOQ 的 batchInsert 和 batchUpdate 方法。 JOOQ 有什么好的做法来处理大量数据吗？我错过了什么吗？

【问题讨论】：

标签： java postgresql garbage-collection out-of-memory jooq

【解决方案1】：

fetch() 和 batchInsert() / batchUpdate() 都将缓冲您的内容，即您的结果和/或绑定变量。使用 jOOQ 时不建议使用此方法。让我们分别看看这两个操作：

大读取

对于大型读取，您应该避免使用fetch()，因为这会从您的数据库中获取所有记录并在使用它们之前将它们存储在内存中。在大多数情况下，这是比保持打开游标/资源（JDBC 所做的方式）更好的方法，但在结果很大的情况下，这是禁止的。相反，您应该使用fetchLazy() 或fetchStream()：

// Using fetchLazy():
try (Cursor<Record> cursor = query.fetchLazy()) {
    ...
}

// Using fetchStream():
try (Stream<Record> stream = query.fetchStream()) {
    ...
}

别忘了使用 try-with-resources 来确保完成时关闭所有资源，例如 ResultSet 和 PreparedStatement。

请注意还有ResultQuery.fetchSize()，它允许specifying the JDBC fetch size 防止PostgreSQL JDBC 驱动程序缓冲过多的行。

大写

您不应该在任何数据库中一次性编写大量插入。除了您可能遇到的客户端内存问题外，还存在与不断增长的 UNDO/REDO 日志相关的服务器端问题的风险。理想情况下，您应该通过微调将写入分成小块：

散装尺寸
批量大小
提交大小

jOOQ 知道Loader API 可以导入 CSV/JSON/array 数据并负责上述微调。它记录在这里：

http://www.jooq.org/doc/latest/manual/sql-execution/importing

【讨论】：