使用 ResultSet 时，mysql 内存 (RAM) 使用量会增加吗？答案

【问题标题】：mysql Memory (RAM) usage increases while using ResultSet?使用 ResultSet 时，mysql 内存 (RAM) 使用量会增加吗？
【发布时间】：2011-10-20 00:25:21
【问题描述】：

我正在使用 MySQL 和 Java 来选择大约 50000 条记录。奇怪的是，当我使用 ResultSet 和 next() 方法读取数据时，我看到我的 java 应用程序的 RAM 使用量在获取过程中增加了。它从 255 MB 开始，增加到 379 MB！我使用的代码在这里：

try {
    Class.forName("com.mysql.jdbc.Driver");
    Connection conn = DriverManager.getConnection("jdbc:mysql://localhost/#mysql50#crawler - used in report?" + "user=root&password=&useUnicode=true&characterEncoding=UTF-8");
    Statement st = conn.createStatement();
    ResultSet rsDBReader = st.executeQuery("SELECT Id, Content FROM DocsArchive");
    while (rsDBReader.next()) {
        int docId = rsDBReader.getInt(1);
        String content = rsDBReader.getString(2);
        . . .
        }
    rsDBReader.close();
    st.close();
    conn.close();
} catch (Exception e) {
    System.out.println("Exception in reading data: " + e);
}

我确信内存使用是用于 ResultSet，而不是程序的其他部分。在这个程序中我不需要更新记录，所以我想在完成工作后删除每条记录。我的猜测是，已读取的记录不会被删除，程序也不会释放它们的内存。所以我使用了一些技巧来避免这种情况，例如使用以下代码：

Statement st = conn.createStatement( ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY, ResultSet.CLOSE_CURSORS_AT_COMMIT);

st.setFetchSize(500);
rsDBReader.setFetchSize(500);

但他们没有改变任何事情。 :(

所以我需要一些方法来删除（释放）已读取行的内存。

另外一个有趣的点是，即使在完成函数并关闭ResultSet、Statement和Connection，然后转到程序的其他部分后，程序内存使用量仍然没有减少！谢谢

【问题讨论】：

MySQL 缓存查询结果。
好的，谢谢，但是我怎样才能清空缓存呢？
你可以做些什么来节省内存（虽然更多时间）是限制每个 SELECT 语句获得的结果数

标签： java mysql memory-management resultset

【解决方案1】：

使用Statement.setFetchSize() 向驱动程序提供一个提示，它应该为包含一定数量行的驱动程序流式传输ResultSet。据我所知，MySQL Connector-J 驱动程序确实理解提示和流ResultSets（但在 MySQL 的情况下，这仅限于一次一行）。

默认值为 0，将确保 Connector-J 驱动程序将获取完整的 ResultSet 而无需流式传输。这就是为什么您需要提供一个明确的值 - 在 MySQL 的情况下为 Integer.MIN_VALUE。

声明：

Statement st = conn.createStatement( ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY, ResultSet.CLOSE_CURSORS_AT_COMMIT);

不会导致ResultSet 流式传输（至少不是出于自愿）。它只是确保结果集不是“可滚动的”（即只能向前遍历）并且不是“可更新的”，并且底层游标将在事务提交时关闭。

如JDBC implementation notes of MySQL 中所述，上述语句（不带ResultSet.CLOSE_CURSORS_AT_COMMIT 参数）必须与Statement.setFetchSize(Integer.MIN_VALUE) 调用一起调用，才能逐行发生流式传输。在这种情况下所涉及的相关警告也已记录在案。

请注意，MySQL 文档中提到的示例中并未指定游标的可保持性。如果您需要与Connection.getHoldability() 提供的值不同的值，那么此建议可能不适用。

【讨论】：

不，MySQL JDBC 驱动程序对控制提取大小的支持非常有限。默认行为是一次获取选择的全部结果。要流式传输结果，必须将提取大小设置为 Integer.MIN_VALUE，并使用 ResultSet.TYPE_FORWARD_ONLY、ResultSet.CONCUR_READ_ONLY 创建语句。这样做，必须考虑文档中所述的几个进一步的限制：dev.mysql.com/doc/refman/5.0/en/…
我用过这些代码：st.setFetchSize(500); rsDBReader.setFetchSize(500);但这并没有改变任何事情
@Soheil，文档很清楚 500 不会触发提示。我建议先阅读它们。如果您想快速获得答案，请使用 Integer.MIN_VALUE 而不是 500 可能。
@Vineet Reynolds，你是对的。我用 Integer.MIN_VALUE 对其进行了测试。它工作。

【解决方案2】：

我建议限制您在查询中检索到的行数。 50000 很多，那么为什么不使用一个循环来获取，比如说，每次 1000 行？

您可以使用limit 语句实现此目的，如here 所述。对您正在处理的数据量保持务实总是最好的。您当前的选择今天可能返回 50000 行，但如果它明天增长到 100 万行怎么办？你的应用程序会窒息。因此，请逐步进行处理。

【讨论】：

【解决方案3】：

请注意，Postgres 的最新版本也存在类似问题。为了实现游标处理*，您需要禁用连接上的自动提交connection.setAutoCommit(false)，并在 SQL 语句中使用单个语句（即只包含一个分号的语句）。它对我有用。

Postgres JDBC documentation

【讨论】：

【解决方案4】：

您看到的实际上是预期行为，不一定表示内存泄漏。 Java 中的对象实例在无法访问后不会立即进行垃圾回收，大多数 Java 虚拟机在分配内存后非常不愿意将内存返回给操作系统。

如果您使用的是 Oracle 的 Java VM 的最新版本并且确实需要更积极的垃圾收集器，您可以通过在 java 命令中添加以下参数来尝试 G1GC 实现：

-XX:+UnlockExperimentalVMOptions -XX:+UseG1GC

G1GC 垃圾收集器通常比默认垃圾收集器更快地回收对象，并且进程也会释放未使用的内存。

【讨论】：