【问题标题】:MySQL performing a "No impact" temporary INSERT with replication avoiding LocksMySQL 执行“无影响”临时插入,复制避免锁定
【发布时间】:2016-03-06 10:42:42
【问题描述】:

所以,我们正在尝试运行一个进入屏幕的报告,它不会更改任何存储的数据。 但是,它很复杂,因此需要遍历几个 (TEMPORARY*) 表。

它从被复制的活动表中提取数据。

中获取“合格”记录时令人讨厌的一点

temp_PreCalc

并从实时数据中填充它们以创建下一个 (TEMPORARY*) 表输出

有效地导致:

插入到 temp_PostCalc (...) 选择 ... FROM temp_PreCalc 加入 live_Tab1 ... 加入 live_Tab2 ON ... 加入 live_Tab3 ON ...

报告不是一个“确定的”答案,期望它只是一个“快照”报告,一旦出现在屏幕上就会过时。

不存在顺序或再现性问题。

因此,理想情况下,我会将我的事务隔离级别降低到已提交阅读... 但是,我不能,因为 live_Tab1,2,3 是用 BIN_LOG STATEMENT 类型复制的...

该语句既可爱又快速-几乎不需要任何时间来运行,因此资源负载现在比以前少了(它进行了单独的选择和插入),但它等待(据我了解),因为SELECT 等待 live_Tab 上的可重复/可同步锁定,以便可以安全地复制任何结果。 事实上,由于等待,现在需要更多时间。

我想看到响应时间带来的性能优势!

除非将数据写入 (TEMPORARY*) 表然后丢弃。

没有 live_table 目的地 - 只有来源...

    • 这些表实际上不是 TEMPORARY TABLES,而是动态创建和丢弃的 InnoDB 表,因为报告计算需要自连接和删除...但它们是 临时的

我现在似乎在兜圈子寻找答案。


我没有超级特权,也不想要它... 所以不能为这个连接会话设置 BIN_LOG=0(为什么这是一个要求?)

所以...

如果我有一个临时数据库或表通配符,它​​将我的所有 temp_“临时”表从复制中排除... (我正在等待我的寄宿中心通过此更改)

MySQL 会允许我这样做吗

SET Session TRANSACTION ISOLATION LEVEL READ COMMITTED;

插入到 temp_PostCalc (...) 选择 ... FROM temp_PreCalc 加入 live_Tab1 ... 加入 live_Tab2 ON ... 加入 live_Tab3 ... ;

或者我还会得到我的

"Cannot Execute 语句:无法写入二进制日志,因为 BINLOG_FORMAT = STATEMENT 并且至少一个表使用存储引擎 仅限于基于行的日志记录..."

即使它在技术上不正确? 我期待它,因为我认为复制将仅仅因为它看到“INSERT”语句而启动,并且将对涉及复制资格的任何表进行简单检查,即使没有目标实际上是复制符合条件....

还是会给我惊喜?

我真的无法面对像

这样令人不快的解决方案

选择到文件 加载数据文件

事实上,我认为我什至不能使用它 - 我将如何获得唯一的文件名?我将如何清理它们? 报表由最终用户直接按需运行,我只有 MySQL 接口访问服务器。

或通过 PHP 客户端流式传输,只是为了将 INSERT 与 SELECT 分开,这样 MySQL 就不会因为哪些表符合复制条件而感到不安......

【问题讨论】:

  • 作为参考,与此同时,我确实实现了一个大型 SELECT,通过 (php) 客户端读回数据,然后用几十行的“捆绑”插入流出来一次。这确实给了我性能提升,以及我正在寻找的响应时间的实际可见减少......但仍然让我想要更多没有锁的 INSERT SELECT,因为那是通过 php 客户端流式传输大量数据而没有真正的原因。
  • 所以,看起来唯一的方法似乎是:

标签: mysql locking replication temporary read-committed


【解决方案1】:

所以,看起来唯一的方法似乎是:

我们创建第二个模式“ScratchTemp”... 设置可怕的复制 --replicate-ignore-db=ScratchTemp

我的“本地”查询代码打开一个新的 mysql 连接,并执行 USE ScratchTemp; 因为我选择了“忽略”的默认数据库 - 我的任何查询都不会被复制。

所以我需要非常小心,不要在这里执行任何真正的查询

通过在我的查询中使用模式限定名称作为前缀来引用我的暂存表和实际数据表...

例如 INSERT INTO LiveSchema.temp_PostCalc (...) SELECT ... FROM LiveSchema.temp_PreCalc JOIN LiveSchema.live_Tab1 etc etc 如上所述。

然后尽快关闭此连接,坦率地说,打开非复制连接是很危险的......

叹息...?

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多