【问题标题】:InnoDB insert count slow downInnoDB 插入计数减慢
【发布时间】:2011-07-15 12:50:10
【问题描述】:

我连续批量插入到mysql innoDB表,每秒插入速度变慢。 有些行为是 - 如果关闭数据插入器 (java) 应用程序,mysql 会做一些 i/o 操作一段时间。 - 添加一些insert然后关闭mysql服务器,关闭操作持续时间太长。如果在没有任何插入的情况下启动和停止mysql,那么启动和停止操作那么快。 - 插入速度不是(太多)取决于表上的数据量。如果重启mysql服务器,insert per second与last restart insert per second值类似。

我在论坛上阅读了一些评论,不要连续添加,2插入之间有间隙。有意义吗?为什么sql变慢了?

查询 SHOW VARIABLES LIKE 'inno%' 结果低于

innodb_adaptive_flushing = ON
innodb_adaptive_hash_index = ON
innodb_additional_mem_pool_size = 20971520
innodb_autoextend_increment = 8
innodb_autoinc_lock_mode = 1
innodb_buffer_pool_instances = 1
innodb_buffer_pool_size = 268435456
innodb_change_buffering = all
innodb_checksums = ON
innodb_commit_concurrency = 0
innodb_concurrency_tickets = 500
innodb_data_file_path = ibdata1:50M:autoextend
innodb_data_home_dir = 
innodb_doublewrite = ON
innodb_fast_shutdown = 1
innodb_file_format = Barracuda
innodb_file_format_check = ON
innodb_file_format_max = Antelope
innodb_file_per_table = ON
innodb_flush_log_at_trx_commit = 2
innodb_flush_method = O_DSYNC
innodb_force_recovery = 0
innodb_io_capacity = 200
innodb_lock_wait_timeout = 50
innodb_locks_unsafe_for_binlog = OFF
innodb_log_buffer_size = 8388608
innodb_log_file_size = 268435456
innodb_log_files_in_group = 2
innodb_log_group_home_dir = ./
innodb_max_dirty_pages_pct = 75
innodb_max_purge_lag = 0
innodb_mirrored_log_groups = 1
innodb_old_blocks_pct = 37
innodb_old_blocks_time = 0
innodb_open_files = 300
innodb_purge_batch_size = 20
innodb_purge_threads = 0
innodb_read_ahead_threshold = 56
innodb_read_io_threads = 4
innodb_replication_delay = 0
innodb_rollback_on_timeout = OFF
innodb_spin_wait_delay = 6
innodb_stats_on_metadata = ON
innodb_stats_sample_pages = 8
innodb_strict_mode = ON
innodb_support_xa = ON
innodb_sync_spin_loops = 30
innodb_table_locks = ON
innodb_thread_concurrency = 0
innodb_thread_sleep_delay = 10000
innodb_use_native_aio = OFF
innodb_use_sys_malloc = ON
innodb_version = 1.1.1
innodb_write_io_threads = 4

谢谢

【问题讨论】:

    标签: mysql performance innodb


    【解决方案1】:

    InnoDB 默认在自动提交模式下工作,这意味着每次插入都需要写入磁盘两次。使用扩展插入(也称为多行插入)并将多个连续插入包含在事务中可以提高性能。

    【讨论】:

    • 但是你是在单次提交之后提交,还是在更大批量之后提交?
    • BTW:批量上传大量数据最快的方法是使用LOAD DATA INFILE
    • 代码是添加多个插入。其实问题不在于速度,而在于速度减慢。
    • 您介意运行此查询SHOW VARIABLES LIKE 'inno%'; 并使用它的结果更新您的问题吗?
    【解决方案2】:

    速度变慢的原因是插入操作存储到缓存(脏页)并定期写入硬盘。直到脏页内存已满,插入操作很快,然后缓存已满,插入速度瓶颈磁盘写入 (I/O)。 您可以使用下面的 sql 来显示脏页大小 "Modified db pages"

    show engine innodb status
    

    【讨论】:

      猜你喜欢
      • 2012-08-04
      • 2012-07-15
      • 1970-01-01
      • 1970-01-01
      • 2012-02-25
      • 1970-01-01
      • 2013-09-11
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多