【问题标题】:MySQL ODBC Update Query VERY SlowMySQL ODBC 更新查询非常慢
【发布时间】:2013-04-17 18:32:54
【问题描述】:

我们的 Access 2010 数据库最近达到了 2GB 的文件大小限制,因此我将数据库移植到 MySQL。

我在 Windows Server 2008 x64 上安装了 MySQL Server 5.6.1 x64。 已加载所有操作系统更新和补丁。

我正在使用 MySQL ODBC 5.2w x64 驱动程序,因为它似乎是最快的。

我的盒子有一个 i7-3960X,64GB RAM 和 480GB SSD。

我使用 Access 查询设计器,因为我更喜欢该界面,而且我经常需要将丢失的记录从一个表附加到另一个表。

作为测试,我有一个带有两个链接表的简单 Access 数据库:

tblData 链接到另一个 Access 数据库和

tblOnline 将 SYSTEM DSN 用于链接的 ODBC 表。

两个表都包含超过 1000 万条记录。 我移植的一些工作表已经有超过 3000 万条记录。

为了选择要追加的记录,我使用了一个名为 INDBYN 的字段,它可以是真或假。

首先我在 tblData 上运行更新查询:

UPDATE tblData SET tblData.InDBYN = False;

然后我更新所有匹配的记录:

UPDATE tblData INNER JOIN tblData ON tblData.IDMaster = tblOnline.IDMaster SET tblData.InDBYN = True; 

即使对于链接的 ODBC 表,它的运行速度也相当快。

最后,我将所有 INDBYN 为 False 的记录附加到 tblOnline。 这也是可以接受的速度,尽管比附加到链接访问表要慢。

在 Access 中,一切都 100% 运行并且速度非常快,除了数据库变得太大。

在链接访问表上,更新 11,500,000 条记录需要 2 分 15 秒。

但是,我现在需要将 SOURCE 表移动到 MySQL,因为它已达到 2GB 的限制。

所以以后我需要在链接的 ODBC 表上运行 UPDATE 语句。

到目前为止,当我在链接的 ODBC 表上运行相同的简单 UPDATE 查询时,它运行了 20 多分钟,然后爆出说查询已超过 2GB 内存限制。

两个表的结构相同。

我不知道如何解决这个问题,需要建议。

我更喜欢使用 Access 作为前端,因为我已经为应用设计了数百个查询,没有时间重新开发应用。

我使用 InnoDB 引擎并尝试了各种调整,但均未成功。由于我的数据库使用关系表,因此与 MyISAM 相比,使用 INNODB 似乎是最佳选择。

我已经打开和关闭了双写,并尝试了各种缓冲池大小,包括查询缓存。它对这个特定的查询没有影响。

我当前的 my.ini 文件如下所示:

#-----------------------------------------------------------------------
# MySQL Server Instance Configuration File
# ----------------------------------------------------------------------

[client]
no-beep

port=3306

[mysql]

default-character-set=utf8

server_type=3
[mysqld]

port=3306

basedir="C:\Program Files\MySQL\MySQL Server 5.6\"

datadir="E:\MySQLData\data\"

character-set-server=utf8

default-storage-engine=INNODB

sql-mode="STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION"

log-output=FILE
general-log=0
general_log_file="SQLSERVER.log"
slow-query-log=1
slow_query_log_file="SQLSERVER-slow.log"
long_query_time=10

log-error="SQLSERVER.err"

max_connections=100

query_cache_size = 20M

table_open_cache=2000

tmp_table_size=502M

thread_cache_size=9

myisam_max_sort_file_size=100G

myisam_sort_buffer_size=1002M

key_buffer_size=8M

read_buffer_size=64K
read_rnd_buffer_size=256K

sort_buffer_size=256K

innodb_additional_mem_pool_size=32M

innodb_flush_log_at_trx_commit = 1

innodb_log_buffer_size=16M

innodb_buffer_pool_size = 48G

innodb_log_file_size=48M

innodb_thread_concurrency = 0

innodb_autoextend_increment=64M

innodb_buffer_pool_instances=8

innodb_concurrency_tickets=5000

innodb_old_blocks_time=1000

innodb_open_files=2000

innodb_stats_on_metadata=0

innodb_file_per_table=1

innodb_checksum_algorithm=0

back_log=70

flush_time=0

join_buffer_size=256K

max_allowed_packet=4M

max_connect_errors=100

open_files_limit=4110

query_cache_type = 1

sort_buffer_size=256K

table_definition_cache=1400

binlog_row_event_max_size=8K

sync_relay_log=10000
sync_relay_log_info=10000

tmpdir = "G:/MySQLTemp"
innodb_write_io_threads = 16
innodb_doublewrite
innodb = ON
innodb_fast_shutdown = 1

query_cache_min_res_unit = 4096

query_cache_limit = 1048576

innodb_data_home_dir = "E:/MySQLData/data"

bulk_insert_buffer_size = 8388608

任何建议将不胜感激。提前谢谢你。

【问题讨论】:

  • 澄清一下,我尝试运行的查询耗时超过 20 分钟,是:'UPDATE tblData SET tblData.InDBYN = False;'在上面提到的链接的 ODBC 表上。

标签: mysql performance odbc


【解决方案1】:

MS Access 通过链接表与 MySQL 的通信速度很慢。非常慢。这是无法改变的事实。为什么会这样? Access首先从MySQL加载数据,然后处理命令,最后将数据放回。此外,它逐行执行此过程! 但是,如果您不需要在“更新”查询中使用本地表中的参数或数据,则可以避免这种情况。 (换句话说 - 如果您的查询始终相同并且只使用 MySQL 数据)

技巧是强制 MySQL 服务器而不是 Access 来处理查询!这可以通过在 Access 中创建“pass-thru”查询来实现,您可以在其中直接编写 SQL 代码(使用 MySQL 语法)。 Access 然后将此命令发送到 MySQL 服务器,并直接在该服务器内处理。所以你的查询几乎和在本地访问表中一样快。

【讨论】:

    【解决方案2】:

    Access 是一个单用户系统。带有 InnoDB 的 MySQL 是一个事务保护的多用户系统。

    当你发出一个命中十左右兆行的UPDATE 命令时,MySQL 必须构造回滚信息,以防操作在命中所有行之前失败。这需要大量时间和内存。

    如果您要执行这些真正庞大的UPDATEINSERT 命令,请尝试将您的表访问方法切换到MyISAM。 MyISAM 不受事务保护,因此这些操作可能运行得更快。

    您可能会发现使用 ODBC 以外的其他工具进行数据迁移很有帮助。正如您所发现的,ODBC 处理大量数据的能力受到严重限制。例如,您可以将 Access 表导出为平面文件,然后使用 MySQL 客户端程序将它们导入。看这里...https://stackoverflow.com/questions/9185/what-is-the-best-mysql-client-application-for-windows

    将数据导入 MySQL 后,您就可以运行基于 Access 的查询。但要避免UPDATE 请求命中数据库中的所有内容。

    【讨论】:

    • 感谢 Ollie,我最初使用 BullZip 将数据拉入 MySQL,运行大约需要 18 小时。然后我买了 SQLyog 并使用了数据导入工具,它运行得更快。有趣的是,我在 MySQL Workbech 中运行了 UPDATE 查询,只用了 104.785 秒就更新了 11,552,802 行。这比 Access 的 2 分 15 秒快得多。但我必须先禁用安全更新。我现在正在使用 ODBC 连接器的参数,看看是否可以让它更快地工作。如果您对如何使其更好地适用于大型数据库有任何建议,请提出建议。
    【解决方案3】:

    Ollie,我明白你的意思是避免影响所有行的更新。我用它来标记目标数据库中缺少的行,这是一种仅附加缺失行的快速简便的方法。我看到 SQLyog 有一个仅追加新记录的导入工具,但这仍然贯穿导入表中的所有行,并且运行了几个小时。我会看看我是否只能将我想要的数据导出到 CSV,但如果可能的话,让 ODBC 连接器比现在更快地工作仍然会很好。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2017-03-23
      • 2020-08-14
      • 2021-12-09
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多