如何调查 SQLAlchemy QueuePool 限制溢出？

Question

我明白了

TimeoutError: QueuePool limit of size 5 overflow 10达到，连接超时，超时30

我已经看到了问题：

• Sql Alchemy QueuePool limit overflow
• SQLAlchemy raises QueuePool limit of size 10 overflow 10 reached, connection timed out after some time

以及他们的答案。我尝试了它们，并尝试在very simplified codebase 中重现我的问题。我无法重现它。

我该怎么做才能找到/解决问题？

例如，我可以在 Python 中获取 QueuePool 的当前“使用情况”吗？

（另外，但可能更好的另一个问题：为什么我不应该将队列溢出设置为-1？）

到目前为止我没有尝试的是设置app.config['SQLALCHEMY_POOL_RECYCLE']（将设置为here）。我想我必须将它设置为一个较低的值才能解决这个问题，但我可能会在其他地方超时，对吧？

Answer 1

1. 对您的 MySQL 数据库运行 show PROCESSLIST 以显示连接/池/使用情况。

   • 在 PyCharm 中，打开“数据库”侧边栏（通常在右侧），然后右键单击您的数据库/架构并选择“打开控制台”。粘贴上面的命令，然后点击绿色的“执行”按钮。
   • 我注意到的是，当我使用 API 时，每个 API 调用都会打开一个单独的连接，当它们达到 20 个连接时，下一个 API 调用会导致错误，即 TimeoutError: QueuePool limit of size 10 overflow 10 reached (10 + 10 = 20)。
   • 当我摆脱 threaded=True 后，我只看到一个连接打开。

2. 提交或存储所有现有更改，然后创建一个分支并开始剥离代码/逐个简化您的应用程序并查看问题是否仍然弹出。

   • 在这种情况下我没有使用此技术，但在处理其他此类严重难以追踪的错误时，我已成功使用它。
   • 由于您提到无法通过一个简单的示例重现该问题，我认为值得推荐这种技术作为获得最小示例的一种方式。

3. （结合#2）尝试减少SQLALCHEMY_POOL_SIZE Flask-SQLAlchemy 设置，以便更快地重现错误。

   • 这里的想法是让崩溃更快发生。
   • 在这种情况下我没有这样做。