查询期间失去与 MySQL 服务器的连接

Question

我有一个巨大的表，我需要处理其中的所有行。我总是收到这个丢失的连接消息，我无法重新连接并将光标恢复到它的最后一个位置。这基本上是我在这里的代码：

#
import MySQLdb

class DB:
  conn = None

  def connect(self):
    self.conn = MySQLdb.connect('hostname', 'user', '*****', 'some_table', cursorclass=MySQLdb.cursors.SSCursor)

  def query(self, sql):
    try:
     cursor = self.conn.cursor()
     cursor.execute(sql)
   except (AttributeError, MySQLdb.OperationalError):
     self.connect()
     cursor = self.conn.cursor()
     cursor.execute(sql)
   return cursor
#

#
db = DB()
sql = "SELECT bla FROM foo"
data = db.query(sql)

for row in data:
    do_something(row)
#

但我总是得到这个：

#
Traceback (most recent call last):
  File "teste.py", line 124, in <module>
   run()
 File "teste.py", line 109, in run
   for row in data:
 File "/usr/lib64/python2.5/site-packages/MySQLdb/cursors.py", line 417, in next
   row = self.fetchone()
 File "/usr/lib64/python2.5/site-packages/MySQLdb/cursors.py", line 388, in fetchone
   r = self._fetch_row(1)
 File "/usr/lib64/python2.5/site-packages/MySQLdb/cursors.py", line 285, in _fetch_row
   return self._result.fetch_row(size, self._fetch_type)
   _mysql_exceptions.OperationalError: (2013, 'Lost connection to MySQL server during query')
    Exception _mysql_exceptions.OperationalError: (2013, 'Lost connection to MySQL server during query') in <bound method SSCursor.__del__ of <MySQLdb.cursors.SSCursor object at 0x7f7e3c8da410>> ignored
#

你有什么想法吗？

Answer 1

mysql 文档有一整页专门针对此错误： http://dev.mysql.com/doc/refman/5.0/en/gone-away.html

值得注意的是

• 如果您向服务器发送不正确或太大的查询，也可能会出现这些错误。如果 mysqld 收到一个太大或乱序的数据包，它会假设客户端出现问题并关闭连接。如果您需要大查询（例如，如果您使用大 BLOB 列），您可以通过设置服务器的 max_allowed_pa​​cket 变量来增加查询限制，该变量的默认值为 1MB。您可能还需要增加客户端的最大数据包大小。有关设置数据包大小的更多信息，请参见第 B.5.2.10 节“数据包太大”。

• 您可以通过使用 --log-warnings=2 选项启动 mysqld 来获取有关丢失连接的更多信息。这会在 hostname.err 文件中记录一些断开连接的错误

Answer 2

mysql服务器的max_allowed_pa​​cket有三种放大方式：

1. 在mysql服务器机器上修改/etc/mysql/my.cnf文件中的max_allowed_packet=64M并重启服务器
2. 在mysql服务器上执行sql：set global max_allowed_packet=67108864;
3. python连接mysql后执行sql：

connection.execute('set max_allowed_packet=67108864')

Answer 3

对于派生子进程的应用程序，您也可能会遇到此错误，所有这些子进程都尝试使用与 MySQL 服务器的相同连接。这可以通过为每个子进程使用单独的连接来避免。

叉子可能会撞到你。不过在这种情况下请注意。

Answer 4

确保在连接前关闭光标。我已经解决了我的问题：

if cur and con:                        
    cur.close() 
    con.close() 

Answer 5

您需要增加连接的超时时间。如果由于某种原因您不能或不想这样做，您可以尝试致电：

data = db.query(sql).store_result()

这将立即获取所有结果，然后您的连接不会在遍历它们的中途超时。

Answer 6

我的情况是什么原因

ERROR 2013 (HY000): 查询期间丢失与 MySQL 服务器的连接

错误是我的表的某些部分损坏了。我也无法mysqldump 我的表，因为有些行破坏了它。 该错误与上述任何内存问题等无关。

好消息是 MySQL 向我返回了第一个失败的行号。有点像

mysqldump：错误 2013：在查询期间在第 12723 行转储表 mytable 时丢失与 MySQL 服务器的连接

解决方案是将数据复制到新表中。就我而言，我丢失了 10 行数据，因为我不得不跳过这些损坏的行。首先，我使用旧表的架构创建了一个“tmp”表。 SHOW CREATE TABLE 是你的朋友。例如

SHOW CREATE TABLE mydatabase.mytable;

我创建了新表。我们称之为mytabletmp。然后复制您可以通过例如复制的行

insert into mysqltabletmp select * from mytable where id < 12723;
insert into mysqltabletmp select * from mytable where id > 12733;

删除旧表后，将 tmp-table 重命名为旧表名。

也有some nice Information from Peter关于这个问题。

Answer 7

这发生在我的 mariadb 上，因为我创建了一个 varchar(255) 列和一个 unique key.. 猜想这对于一个独特的来说太重了，因为插入超时。

Answer 8

多处理和 Django DB 不能很好地结合使用。

我最终在新进程中关闭了 Django DB 连接。

这样就不会引用父级使用的连接了。

from multiprocessing import Pool

multi_core_arg = [[1,2,3], [4,5,6], [7,8,9]]
n_cpu = 4
pool = Pool(n_cpu)
pool.map(_etl_, multi_core_arg)
pool.close()
pool.join()

def _etl_(x):
    from django.db import connection 
    connection.close() 
    print(x)

或

Process.start() 调用一个以

开头的函数

其他一些建议使用

from multiprocessing.dummy import Pool as ThreadPool

它解决了我的（2013，丢失连接）问题，但是线程使用 GIL，在做 IO 时，会在 IO 完成时释放它。

相比之下，Process 会产生一组相互通信的工作人员，这可能会更慢。

我建议你计时。 一个小技巧是使用由 scikit-learn 项目支持的joblib。 一些性能结果表明它执行了本机 Pool().. 尽管它让编码人员负责验证真正的运行时间成本。

Answer 9

将“max_allowed_pa​​cket”设置为 64M 并重新启动您的 MySql 服务器。如果这不能解决您的问题，则问题可能出在其他地方。

我有一个执行同时查询的多线程 PHP CLI 应用程序，我最近注意到了这个问题。现在对我来说很明显，MySql 服务器将来自同一 IP 的所有连接视为“单个”连接，因此只要单个查询完成，就会丢弃所有连接。

我想知道有没有办法让 MySql 允许来自同一个 IP 的 100 个连接，并将每个连接视为一个单独的连接。

Answer 10

如果有人或某事使用KILL command 终止您的连接，也会发生这种情况。

Answer 11

当我尝试更新磁盘上的大小大于可用磁盘空间的表时，这发生在我身上。我的解决方案就是增加可用磁盘空间。

Answer 12

在我的例子中，我在采购 SQL 转储时遇到了这个问题，该转储将表格放置在错误的顺序。有问题的 CREATE 包含一个 CONSTRAINT ... REFERENCES，它引用了一个尚未创建的表。

我找到了有问题的表，并将其 CREATE 语句移到有问题的表上方，错误消失了。

我遇到的与此错误转储有关的另一个错误是 ERROR 1005/errno: 150 -- "Can't create table" ，这又是表创建乱序的问题。

Answer 13

我也遇到过类似的问题。就我而言，它是通过以这种方式获取光标来解决的：

cursor = self.conn.cursor(buffered=True)

Answer 14

与@imxylz 相同，但我必须使用mycursor.execute('set GLOBAL max_allowed_packet=67108864')，因为在不使用 GLOBAL 参数的情况下出现只读错误。

mysql.connector.__version__ 

8.0.16

Answer 15

当我的 CONSTRAINT 名称与其他 CONSTRAINT 名称相同时，我发生了这种情况。

更改我的CONSTRAINT 名称解决了这个问题。

Answer 16

我遇到了同样的问题。由于其他一些问题，我曾尝试将cnx.close() 行添加到我的其他函数中。相反，我删除了所有这些无关的关闭并像这样设置我的课程：

class DBase:

config = {
      'user': 'root',
      'password': '',
      'host': '127.0.0.1',
      'database': 'bio',
      'raise_on_warnings': True,
      'use_pure': False,
      }

def __init__(self):
    import mysql.connector
    self.cnx = mysql.connector.connect(**self.config)
    self.cur = self.cnx.cursor(buffered=True)
    print(self.cnx)
def __enter__(self):
    return DBase()

def __exit__(self, exc_type, exc_val, exc_tb):
    self.cnx.commit()
    if self.cnx:
        self.cnx.close()

在此类中调用的任何函数都是连接、提交和关闭。

Answer 17

当我尝试对数百万条记录进行批量插入时，我遇到了“管道损坏”的错误。我最终解决了这个问题，将我的数据分块成更小的批量大小，然后为我需要做的每个插入运行一个带有 mysql 游标的 executemany 命令。这解决了问题，并且似乎没有以任何明显的方式影响性能。

例如。

def chunks(data):
    for i in range(0, len(data), CHUNK_SIZE):
        yield data[i:i + CHUNK_SIZE]


def bulk_import(update_list):
    new_list = list(chunks(update_list))
    for batch in new_list:
         cursor.execute(#SQL STATEMENT HERE)

Answer 18

你可以看到我对类似问题的回答：

https://stackoverflow.com/a/69610550/16647254

使用锁来解决这个问题

lock.acquire()
mysqlhelper.getconn()
result_db_num = mysqlhelper.update(sql, [businessid, md5_id])
mysqlhelper.end()
mysqlhelper.dispose()
lock.release()

Answer 19

我在使用 mariadb 、sqlalchemy 和 pandas 时也遇到了同样的情况，就像上面的 @iamapotatoe 一样，我还创建了一个函数来将数据帧分解成块并将它们移植到 sql一点一点的数据库。 如果更改 mysql 配置选项中的 max_allowed_packet 对您不起作用，则可以使用此功能。

def load_large_df(table_name,df_to_load,batch_size,engine):
    df_to_load = df_to_load.dropna(how='all')
    with engine.connect() as conn:
        conn.execute(f"DROP TABLE IF EXISTS {table_name}")
        rows = df_to_load.shape[0]
        batch = int(rows/batch_size)
        

        strt = 0
        while strt < rows:
            df = df_to_load[strt:].head(batch)
            df.to_sql(table_name,con=conn,if_exists='append')
            strt += batch

Answer 20

解决起来很简单，到你的phpadmin控制面板点击config/然后编辑你看到的.ini文件。查找端口 3306，如果这不是您用于连接的端口，请将 3306 更改为您正在使用的端口。在您的登录屏幕上，只需为您的服务器输入 localhost，如果它不是默认端口，或者您没有按原样更改 sql 配置 leavit 中的文件名 my.ini，则为您的端口。然后输入您的用户名：root 或您创建的用户名，然后输入密码：1234 或您分配的用户名。如果您正在本地连接，请不要检查 url 选项。然后键入要编辑的数据库的名称。注意：连接后，您将看到您的服务器或您要连接的服务器上的数据库列表。