【问题标题】:improve mysql load data改进mysql加载数据
【发布时间】:2012-09-11 12:48:43
【问题描述】:

有没有什么mysql参数可以提高“LOAD DATA INFILE”的速度?

我正在使用 1 个 MyISAM 和 1 个 TokuDB 表。数据保存为 Tab 分隔的文本文件。

【问题讨论】:

    标签: mysql myisam tokudb


    【解决方案1】:

    有很多方法可以加快速度。 http://dev.mysql.com/doc/refman/5.1/en/insert-speed.html

    对于大型插入,通常是索引更新会减慢速度。因此,即使使用锁定表、关闭索引更新等技术,创建索引仍然需要很长时间。通过增加 key_buffer_size 的值,可以加快 MyISAM 表上的索引创建和插入。使其足够大以容纳索引,并且您的插入速度可以提高几个数量级。如果需要,您可以在插入后减少它。

    【讨论】:

      【解决方案2】:

      您是加载到一个空表还是一个已经有行的表中?如果表为空,TokuDB 将实现它的批量加载器并非常快速地加载数据。

      此外,如果您将数据加载到具有唯一索引(PK 或辅助索引)的表中,如果您知道数据是唯一的,请关闭 unique_checks。

      【讨论】:

        猜你喜欢
        • 2014-02-03
        • 2014-07-01
        • 2011-01-28
        • 2011-06-11
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多