如何在 Java 中修复“SQLRecoverableException：关闭的连接”答案

【问题标题】：How to fix 'SQLRecoverableException: Closed Connection' in Java如何在 Java 中修复“SQLRecoverableException：关闭的连接”
【发布时间】：2019-04-02 13:36:48
【问题描述】：

我们正在开发一个使用 Hybris 框架构建的电子商务，目前我们遇到了数据库连接问题（我想），不知道如何解决它。它仅发生在生产环境中，并且仅发生在 ESB 使用的服务器上（总共 40 台服务器中的 2 台）。

基本上，有时（每天 1-3 次），我们会发现等待某个空闲会话的会话（来自客户端的 SEL*NET 消息）。我们只能手动杀死持有者以释放这些会话。

所有服务器共享相同的应用程序代码，ESB 和前端服务器之间的主要区别在于调用的控制器和请求数。

ESB 服务器：每分钟 10 个请求前端服务器：每分钟 300 个请求

在应用程序日志中，我发现这两个服务器上有很多关闭连接错误，我认为这与我们的问题有关，但实际上我不知道为什么。在 access.log 我有这个请求：

[26/Mar/2019:09:04:39 +0100] "GET /blockorder?orderCode=XXXX&access_token=XXXX HTTP/1.1" 400 122 "-" "AHC/1.0"

在 console.log 我有这个：

hybrisHTTP8 2019-03-26 09:04:39,184 ERROR [[10.125.31.2] ] () [de.hybris.platform.jdbcwrapper.ConnectionImpl] error resetting AutoCommit
java.sql.SQLRecoverableException: Closed Connection
        at oracle.jdbc.driver.PhysicalConnection.setAutoCommit(PhysicalConnection.java:3763)
        at de.hybris.platform.jdbcwrapper.ConnectionImpl.doSetAutoCommit(ConnectionImpl.java:431)
        at de.hybris.platform.jdbcwrapper.ConnectionImpl.restoreAutoCommit(ConnectionImpl.java:185)
        at de.hybris.platform.jdbcwrapper.ConnectionImpl.unsetTxBound(ConnectionImpl.java:175)
        at de.hybris.platform.tx.Transaction.unsetTxBoundConnection(Transaction.java:920)
        at de.hybris.platform.tx.Transaction.clearTxBoundConnectionAndNotify(Transaction.java:897)
        at de.hybris.platform.tx.Transaction.clearTxBoundConnectionAndNotifyRollback(Transaction.java:887)
        at de.hybris.platform.tx.Transaction.rollbackOuter(Transaction.java:1084)
        at de.hybris.platform.tx.Transaction.rollback(Transaction.java:1028)
        at de.hybris.platform.tx.Transaction.commit(Transaction.java:690)
        at de.hybris.platform.tx.Transaction.finishExecute(Transaction.java:1218)
        at de.hybris.platform.tx.Transaction.execute(Transaction.java:1205)
        at de.hybris.platform.tx.Transaction.execute(Transaction.java:1160)
        at de.hybris.platform.jalo.Item.setAllAttributes(Item.java:2082)
        at de.hybris.platform.jalo.Item.setAllAttributes(Item.java:2057)
        at de.hybris.platform.servicelayer.internal.converter.impl.ItemModelConverter.storeAttributes(ItemModelConverter.java:1503)
        at de.hybris.platform.servicelayer.internal.converter.impl.ItemModelConverter.save(ItemModelConverter.java:730)
        at de.hybris.platform.servicelayer.internal.model.impl.wrapper.ModelWrapper.save(ModelWrapper.java:336)
        at de.hybris.platform.servicelayer.internal.model.impl.ResolvingModelPersister.saveOthers(ResolvingModelPersister.java:64)
        at de.hybris.platform.servicelayer.internal.model.impl.ResolvingModelPersister.persist(ResolvingModelPersister.java:49)
        at de.hybris.platform.servicelayer.internal.model.impl.DefaultModelService.saveViaJalo(DefaultModelService.java:1059)
        at de.hybris.platform.servicelayer.internal.model.impl.DefaultModelService.doJaloPersistence(DefaultModelService.java:648)
        at de.hybris.platform.servicelayer.internal.model.impl.DefaultModelService.persistWrappers(DefaultModelService.java:1002)
        at de.hybris.platform.servicelayer.internal.model.impl.DefaultModelService.performPersistenceOperations(DefaultModelService.java:626)
        at de.hybris.platform.servicelayer.internal.model.impl.DefaultModelService.saveAllInternal(DefaultModelService.java:620)
        at de.hybris.platform.servicelayer.internal.model.impl.DefaultModelService.saveAll(DefaultModelService.java:600)
        at de.hybris.platform.servicelayer.internal.model.impl.DefaultModelService.save(DefaultModelService.java:548)
        at com.test.fulfilment.process.impl.DefaultOrderProcessService.requestForcedOrderCancellation(DefaultOrderProcessService.java:131)
        at com.test.application.order.facades.impl.DefaultOrderFacade.forcedOrderCancel(DefaultOrderFacade.java:62)
        at com.test.application.controllers.OrderController.blockOrder(OrderController.java:520)

我们的池配置如下：

{
    "maxIdle": 90,
    "minIdle": 2,
    "maxActive": 90,
    "maxWait": 10000,
    "whenExhaustedAction": 1,
    "testOnBorrow": true,
    "testOnReturn": true,
    "testWhileIdle": true,
    "timeBetweenEvictionRunsMillis": 10000,
    "numTestsPerEvictionRun": 100,
    "minEvictableIdleTimeMillis": 300000,
    "softMinEvictableIdleTimeMillis": -1,
    "lifo": true
}

我们的 tomcat 配置是：

tomcat.generaloptions.JDBC=-Doracle.jdbc.ReadTimeout=60000
tomcat.generaloptions.TIMEOUT=-Dsun.net.client.defaultConnectTimeout\=60000 -Dsun.net.client.defaultReadTimeout\=60000
tomcat.ajp.acceptCount=100
tomcat.ajp.maxThreads=400
tomcat.maxthreads=400
tomcat.minsparethreads=50
tomcat.maxidletime=10000
tomcat.connectiontimeout=120000
tomcat.acceptcount=100

我们尝试删除 oracle.jdbc.ReadTimeout，但结果是我们开始在其他服务器上看到已关闭的连接。

触发此错误的代码非常简单（它在 95% 的时间内都有效）：

    @Override
    public boolean requestForcedOrderCancellation(final OrderModel order) {
        Transaction.current().begin();
        try {
            modelService.lock(order.getPk());
            modelService.refresh(order);
            order.setForcedCancelled(true);
            modelService.save(order);
            Transaction.current().commit();
            return true;
        catch (Exception e) {
            LOG.error(e.getMessage(), e);
            Transaction.current().rollback();
            return false;
        }
    }

我们也尝试过不使用显式锁定，但问题完全相同。似乎连接已经关闭，我们无法回滚（或提交）仍在 DB 中等待的事务。

我希望避免这种锁定和这些关闭的连接错误。

【问题讨论】：

标签： java oracle tomcat hybris

【解决方案1】：

您的连接池可能已经为您解决了这个问题。尝试增加日志以查看是否可以。

背景：数据库讨厌长期存在的连接，因为它会使它们挨饿。所以他们倾向于在一段时间后关闭连接。另一个罪魁祸首是防火墙，它倾向于从他们的表中删除空闲连接。连接池知道如何通过测试连接来处理这个问题（上面配置中的所有test* 选项）。

有时，您需要告诉您的池如何测试连接。检查文档。对于 Oracle，一个好的测试是 select 1 from dual。

我认为你真正的问题是那些卡住的会话。通过查看 Java 线程转储来了解他们在等待什么，您可以使用 Java SDK 附带的工具 jstack 创建该线程转储。

【讨论】：

您好，感谢您的回答，我没有锁定 jstack，只是在 java.net.SocketInputStream.socketRead0 中发现了一些线程等待。我不明白为什么有些日子它没有任何问题，有些日子它在前 50-100 个请求中运行良好，之后它开始显示关闭连接（也无需等待 90 秒超时）
您确定您的池配置实际上正在被使用吗？我在堆栈跟踪中没有看到任何池类。

【解决方案2】：

我们发现问题是由于事务代码中未捕获的异常/错误造成的。

服务器回答错误，Hybris 没有回滚仍然打开的事务。同一线程在稍后的某个时间（可能是几天）被重用，旧事务仍然打开。

当这个损坏的线程用于锁定数据库中的某些行时，即使我们在代码中提交事务，同样不会提交到数据库，因为 Hybris 内部有一个事务计数器来处理内部事务（可能在被调用的方法中使用） )。只有当我们使用提交/回滚方法并且事务计数器为1时，事务才会提交/回滚到数据库。

Request1:
    Transaction.begin() // Hybris Counter = 1
    doSomething() // This throws Exception, Application Exit, Hybris Counter is still 1
    try {
        Transaction.commit()
    } catch (Exception e) {
        Transaction.rollback();
    }

Request2 on same thread:
    Transaction.begin() // Hybris Counter now is 2
    doSomething() // Works OK, Hybris Counter is still 2
    try {       
        Transaction.commit() // HybrisCounter -= 1
        // Transaction is not commited to DB because Hybris counter now is 1
    } catch (Exception e) {
        Transaction.rollback();
    }

Request3 on same thread:
    Transaction.begin() // Hybris Counter now is 2
    lockRow() 
    // Row is locked for the whole transaction (the same opened in R1)
    // Everything is OK
    try {       
        Transaction.commit() // HybrisCounter -= 1
        // Transaction is not commited to DB because Hybris counter now is 1
        // Row is still locked
        // Next requests to the same row will wait lock forever
    } catch (Exception e) {
        Transaction.rollback();
    }

【讨论】：