保持 SQLAlchemy 会话对 GCP/Spanner 有效答案

【问题标题】：Keeping SQLAlchemy sessions alive to GCP/Spanner保持 SQLAlchemy 会话对 GCP/Spanner 有效
【发布时间】：2021-07-26 12:40:12
【问题描述】：

tl;dr：尝试让 Spanner (GCP) 保持会话活跃是个好主意吗（我认为不是，fwiw），如果是这样，关于如何配置 SQLAlchemy 引擎/有什么建议/ sessionmaker 要这样做吗？

多年来，我们一直在使用 SQLAlchemy 用于非常小的数据库，采用经典设置 - 本地托管。在其中，我们实质上存储了有关用户的 RBAC 相关数据，以便我们可以即时确保用户会话有权访问某些端点。这很好用，而且因为数据库是本地的，所以长时间保持会话打开效果很好。即使出现网络问题/关闭的套接字，我们也只是捕获异常并打开一个新会话，将旧的/陈旧的会话返回到池中。

我最近开始玩扳手，并且正在使用正在开发的 SQLAlchemy 方言（它工作得很好）。但是，所有连接都是 gRPC 到 Google 的云，因此会话会在 10 秒后超时。重新创建会话的成本似乎相当高（很长的等待 [2-3 秒] 启动）。这显然是预期的行为，但我想知道我是否错过了 Spanner 的会话管理，或者这是否是尝试确保 sqlalchemy 保持会话活动的用例。

鉴于 gRPC 会话的预期性质，我是否只是忽略了在会话创建期间导致如此长时间延迟的某些因素？ 通过 CLI 运行手动查询具有相同的初始查询延迟较长的问题。有问题的数据集是四个表，大小为 KB，因此不是复杂性或数据大小问题。

【问题讨论】：

标签： python-3.x sqlalchemy google-cloud-spanner

【解决方案1】：

我想澄清我注意到的一个困惑：Cloud Spanner 会话不是事务。

Spanner 会话代表与 Cloud Spanner 数据库服务的通信通道，一次可以执行一个事务。正如您正确指出的那样，创建新会话的成本很高，这就是我们缓存会话以在客户端库的会话池中重用的原因。但是，会话仅在闲置一小时后才会被清除。

更多关于 Spanner 会话管理的信息可以在这里找到： https://cloud.google.com/spanner/docs/sessions#performance_benefits_of_a_session_cache

Spanner 事务在 10 秒不活动后中止。这是因为事务锁定了整个表。可以通过定期执行SELECT 1 来避免这种情况，但除非您了解保持事务打开的缺点，否则不建议这样做。

请注意，我们有一个 Cloud Spanner SQLAlchemy 方言，目前处于预览阶段，可在此处找到： https://github.com/cloudspannerecosystem/python-spanner-sqlalchemy

【讨论】：

啊，好吧，所以我认为我的 OP 中令人困惑的部分是 However, all connections are gRPC to Googles cloud, and thus sessions time out after 10 seconds. 听起来这不是真的 - transactions 10 秒后超时，但会话是存活长达 1 小时。使用 SQLAlchemy 和您的库，您是否有推荐的会话管理方法（例如：使用会话池），或者我是否过度考虑了这一点并且已经使用您的库处理了？显然事务需要巧妙地使用以避免锁定/阻塞（和事务关闭错误）
上面链接的python-spanner-sqlalchemy repo 中的sqlalchemy-spanner 库处理会话和事务管理。 python-spanner 存储库中的 google-cloud-spanner 库应根据您调用库的方式处理会话管理。该库的推荐用法通过为用户处理所有会话管理来避免会话泄漏。但是，这种用法通常不适合像 SQLAlchemy 这样的 ORM。这就是为什么我建议尝试上述方言。
@larkee @geudrik 看来您至少已经开始使用python-spanner-sqlalchemy 库中的方言了。我刚开始就有问题。虽然这与手头的问题无关，但您能否看看这个问题：stackoverflow.com/questions/69095208/…