python（pyodbc）：从python结果运行ms访问查询到大小错误答案

【问题标题】：python(pyodbc):Run ms access query from python results to size errorpython（pyodbc）：从python结果运行ms访问查询到大小错误
【发布时间】：2017-02-11 13:15:38
【问题描述】：

我在 python 3.5 上使用 pyodbc 和 pandas 以便将大约 10000 行数据从 MS Access 2010 加载到数据框中，然后计算一些相关性。

当我尝试下面的代码来查看生成器的作用时，代码正在打印约 10000 行中的大约 9600 行，然后我收到以下错误：

[Microsoft][ODBC Microsoft Access Driver] 查询不能完全的。查询的大小大于最大值数据库大小 (2 GB)，或者没有足够的临时存储空间磁盘空间用于存储查询结果。

**Code:**

Import pyodbc
import pandas as pd

con = pyodbc.connect(r'DRIVER={Microsoft Access Driver (*.mdb, *.accdb)};'
                     r'DBQ=MyDB.mdb;')
cur - con.cursor()
sql = "SELECT * from [query table]" # I have a query table which is pivoting the data inside the access.

def gen(cursor, sql):
   cursor.execute(sql)
   While True:
       row = cursor.fetchone()
       if row is None:
           break
       yield row

for x in gen(cur,sql):
    print(x)

我已经定义了另一个函数，它获取生成器的行并将它们附加到列表，然后附加到 pd.Dataframe，但是生成器似乎没有完成工作。

我压缩并修复了数据库，但没有运气。此外，目前 mdb 文件的大小不超过 500mb。

您能告诉我如何克服这个错误吗？

提前非常感谢。

【问题讨论】：

也许在您致电pyodbc.connect 后立即尝试con.autocommit = True
非常感谢 Gord - 成功了！！你想让我知道（为了我的理解）这是如何解决我的问题的吗？再次，非常感谢。

标签： python ms-access-2010 pyodbc

【解决方案1】：

在建立连接时，pyodbc 根据 Python 的 DB-API 规范默认为autocommit=False。因此，当执行第一条 SQL 语句时，ODBC 开始一个数据库事务，该事务一直有效，直到 Python 代码在连接上执行 .commit() 或 .rollback()。

显然，当您处理结果集中的行时，Access 数据库引擎正在累积越来越多的有关“事务”的信息，最终导致内存不足错误。将 pyodbc 连接设置为 autocommit=True 告诉 Access 数据库引擎不要费心跟踪任何与事务相关的信息，从而避免错误。

【讨论】：

非常感谢 Gord 的详尽解释。非常感谢。