Java 存储过程因 OutOfMemoryError 而停止

Question

我正在开发一个 Java 项目，该项目在连接到 MySQL 数据库的 Tomcat 6 上运行。所有程序都按应有的方式运行，无论是在本地测试还是在我们客户的服务器上进行测试时。但是，有一个例外，即检索大量数据以生成报告的过程。从 MySQL 执行存储过程大约需要 13 分钟。当我在本地运行应用程序并连接到在线数据库时，该过程确实可以工作，唯一不工作的是它在我们客户端的服务器上运行时。

客户对他的服务器非常保护，所以我们对其控制有限，但他们确实希望我们解决问题。当我检查日志文件时，执行存储过程的函数不会引发任何错误。并在代码中放置一些调试日志，它表明它确实到达了执行调用，但没有在调用后立即记录调试，也没有在 catch 中记录错误，但确实进入了 finally 部分。

他们声称 MySQL 日志中没有超时错误。

如果有人对可能导致此问题的原因有任何想法，我们将不胜感激。

更新：

在跟服务器管理员唠叨几句后，我终于可以访问 catalina 日志了，在这些日志中，我终于发现了一个有一定含义的错误：

Exception in thread "Thread-16" java.lang.OutOfMemoryError: Java heap space
        at java.util.Arrays.copyOf(Arrays.java:2894)
        at java.lang.AbstractStringBuilder.expandCapacity(AbstractStringBuilder.java:117)
        at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:407)
        at java.lang.StringBuffer.append(StringBuffer.java:241)
        at be.playlane.mink.database.SelectExportDataProcedure.bufferField(SelectExportDataProcedure.java:68)
        at be.playlane.mink.database.SelectExportDataProcedure.extractData(SelectExportDataProcedure.java:54)
        at org.springframework.jdbc.core.JdbcTemplate.processResultSet(JdbcTemplate.java:1033)
        at org.springframework.jdbc.core.JdbcTemplate.extractReturnedResultSets(JdbcTemplate.java:947)
        at org.springframework.jdbc.core.JdbcTemplate$5.doInCallableStatement(JdbcTemplate.java:918)
        at org.springframework.jdbc.core.JdbcTemplate.execute(JdbcTemplate.java:876)
        at org.springframework.jdbc.core.JdbcTemplate.call(JdbcTemplate.java:908)
        at org.springframework.jdbc.object.StoredProcedure.execute(StoredProcedure.java:113)
        at be.playlane.mink.database.SelectExportDataProcedure.execute(SelectExportDataProcedure.java:29)
        at be.playlane.mink.service.impl.DefaultExportService$ExportDataRunnable.run(DefaultExportService.java:82)
        at java.lang.Thread.run(Thread.java:636)

奇怪的是这不会记录到应用程序日志中，即使它被包装在一个 try catch 中。现在根据错误，问题出在这种方法上：

public Object extractData(ResultSet rs) throws SQLException, DataAccessException
  {
    StringBuffer buffer = new StringBuffer();

    try
    {
      // get result set meta data
      ResultSetMetaData meta = rs.getMetaData();
      int count = meta.getColumnCount();

      // get the column names; column indices start from 1
      for (int i = 1; i < count + 1; ++i)
      {

        String name = meta.getColumnName(i);
        bufferField(name, i == count, buffer);
      }

      while (rs.next())
      {

        // get the column values; column indices start from 1
        for (int i = 1; i < count + 1; ++i)
        {
          String value = rs.getString(i);
          bufferField(value, i == count, buffer);
        }
      }
    }
    catch (Exception e)
    {
      logger.error("Failed to extractData SelectExportDataProcedue: ", e);
    }

    return buffer.toString();
  }

  private void bufferField(String field, boolean last, StringBuffer buffer)
  {
    try
    {
      if (field != null)
      {

        field = field.replace('\r', ' ');
        field = field.replace('\n', ' ');

        buffer.append(field);
      }

      if (last)
      {
        buffer.append('\n');
      }
      else
      {
        buffer.append('\t');
      }
    }
    catch (Exception e)
    {
      logger.error("Failed to bufferField SelectExportDataProcedue: ", e);
    }
  }

这些函数的目标是将某个结果集导出到 excel 文件（这发生在更高级别）。

因此，如果有人有一些关于优化此问题的提示，我们非常欢迎。

Answer 1

好的，你的堆栈跟踪给了你答案：

Exception in thread "Thread-16" java.lang.OutOfMemoryError: Java heap space

这就是您没有记录的原因，应用程序正在崩溃（具体来说是线程）。从您的描述来看，听起来您有一个需要分页的海量数据集。

      while (rs.next())
      {

        // get the column values; column indices start from 1
        for (int i = 1; i < count + 1; ++i)
        {
          String value = rs.getString(i);
          bufferField(value, i == count, buffer);
        }
      }

这是你线程死亡的地方（可能）。基本上你的 StringBuffer 内存不足。至于纠正它，有很多选择。在客户端的问题上投入更多内存（通过配置 JVM（这是一个链接）： How to set the maximum memory usage for JVM?

或者，如果您已经这样做了，请将更多 RAM 放入设备中。

从编程的角度来看，这听起来像是一份糟糕的报告。您可以将处理的一些数字卸载到 MySQL 而不是在您的端进行缓冲（如果可能），或者，如果这是一个巨大的报告，我会考虑将其流式传输到文件，然后通过缓冲流读取以填充报告。

这完全取决于报告是什么。如果它很小，我的目标是在 SQL 中做更多的工作以最小化结果集。如果它是一个巨大的报告，那么缓冲是另一种选择。

您可能遗漏的另一种可能性是 ResultSet（取决于实现）可能已被缓冲。这意味着您的报表可以直接获取 ResultSet 对象并从中打印，而不是将其全部读取到字符串中。当然，这样做的缺点是一个杂散的 SQL 异常会终止您的报告。

祝你好运，我会先尝试内存选项。您可能会使用像 128 这样非常小的东西来运行它，而且它会很简单（我已经看到这种情况在远程管理的机器上发生了很多）。