在 Python 中跨多个函数使用 MySQLdb 连接和游标的正确方法是什么

Question

我对 Python 及其 MySQLdb 连接器有点陌生。 我正在编写一个 API 来使用 RESTful 方法从数据库中返回一些数据。在 PHP 中，我将连接管理部分封装在一个类中，充当 MySQL 查询的抽象层。

在 Python 中：

• 我在脚本的早期定义了连接： con = mdb.connect('localhost', 'user', 'passwd', 'dbname')

• 然后，在所有后续方法中：

  import MySQLdb as mdb
  
  def insert_func():
  
  with con: 
  
  cur = con.cursor(mdb.cursors.DictCursor)
  cur.execute("INSERT INTO table (col1, col2, col3) VALUES (%s, %s, %s)", (val1, val2, val3) )
  
  rows = cur.fetchall()
  
  #do something with the results
  
  return someval
  

  等等

• 我使用mdb.cursors.DictCursor，因为我更喜欢能够以关联数组的方式访问数据库列。

现在问题开始出现：

• 在一个函数中，我发出一个插入查询来创建一个具有唯一“groupid”的“组”。

• 此“组”有一个创建者。数据库中的每个用户都在表中他/她行的“组”列中保存一个 JSON 数组。

• 所以当我创建一个新组时，我想将 groupid 分配给创建它的用户。

• 我使用类似功能更新用户记录。

• 我已将“插入”和“更新”部分包装在两个单独的函数定义中。

• 我第一次运行脚本时，一切正常。

• 我第二次运行脚本时，脚本无休止地运行（我怀疑是由于与 MySQL 数据库的一些空闲连接）。

• 当我使用 CTRL + C 中断它时，出现以下错误之一：

  • “‘游标’对象没有属性‘连接’”
  • “命令不同步；您现在无法运行此命令”
  • 或任何其他 KeyboardInterrupt 异常，正如预期的那样。

在我看来，这些错误是由我的代码中处理连接和游标的一些错误方式引起的。

我读到使用with con: 是一种很好的做法，这样连接会在查询后自动关闭。我在每个函数中使用 'con' 上的 'with'，因此连接已关闭，但我决定全局定义连接，以便任何函数使用它。这似乎与with con: 上下文管理不兼容。我怀疑游标需要以类似的方式“上下文管理”，但我不知道该怎么做（据我所知，PHP 不使用 MySQL 游标，所以我没有使用它们的经验）。

我现在有以下问题：

1. 为什么第一次有效，第二次无效？ （但是，它会在 CTRL + C 中断后再次工作一次）。

2. 在使用多个函数（可以依次调用）时如何使用连接和游标？

Answer 1

对于连接，对于文件句柄rule of thumb is open late, close early.

所以我建议只在他们试图做一件事的地方共享连接。或者，如果您使用多进程，那么每个进程都会获得一个连接，然后再次打开延迟，提前关闭。如果您正在执行顺序操作（例如在循环中），则在循环外打开和关闭。拥有全球连接可能会变得混乱。主要是因为现在您必须跟踪哪个函数在什么时间使用它，以及它试图用它做什么。

“现在无法运行命令”的问题是因为您的键盘中断终止了活动连接。

关于您的问题之一 - 无休止地可能在任何地方。每个 python 实例都会有自己的连接。因此，当您第二次运行它时，它应该获得自己的连接。打开一个mysql客户端然后做

show full processlist

看看发生了什么。

Answer 2

我认为这里有两个主要问题 - 一个似乎是 python 代码，另一个是您如何与数据库交互的结构。

首先，您没有关闭连接。这取决于您的应用程序的需求——您必须决定它应该保持打开多长时间。参考this SO question

from contextlib import closing
with closing( connection.cursor() ) as cursor:
    ... use the cursor ...

# cursor closed.  Guaranteed.

connection.close()

现在，您必须使用Ctl+C 中断您的程序，因为您的with 语句没有理由停止运行。

其次，开始从“事务”的角度考虑您与数据库的交互。做某事，将其提交给数据库，如果它不起作用，则回滚，如果它起作用，则关闭连接。 Here's a tutorial.