mysql查询优化问题

Question

我正在尝试从大型数据库中导入数据。我有两张表，有几十万条记录。我必须在两个表中搜索数据，然后将该记录插入到一​​个新表（第三个表）中，如果该记录已经存在于第三个表中，那么我必须更新第三个表中的一个列记录。

这听起来很容易，但处理起来需要很长时间。

以下是示例查询和伪代码：

select * from table1 INNER JOIN table2 USING(id)

search in table 3 -> 
 if record exist{
  update record in table 3 (update counter in a column)
 }else{
  Insert new record in table 3
 }

第一张和第二张表有超过二十万条记录。当我开始在第三张表中插入记录时，它会降低整个速度，因为它还必须在第三张表中搜索以更新或插入记录。

Database Name = MySql
Language = Php

有什么问题？我该如何改进呢？我不能等待几个小时来处理它:(

谢谢

编辑：

表3中，id有主键，其他列正常。数据库模式太大而且复杂。你们要吗，我这里贴上百行？

请大家指出我的伪代码和查询中的错误吗？我可以使用什么索引或结构来提高性能？

结构

Table 1 - usr_id, first name, last name (usr_id is primary key)
Table 2 - id, usr_id, amount (id is primary key and usr_id is foreign key)

Table 3 - new_id , first name, last name, usr_id, total_amount (new_id is primary key and usr_id is foreign key

)

我检查表 3 的名字和姓氏是否相同，然后更新总金额，如果它们不同，则插入一条新记录

Answer 1

从您的伪代码中，我看到您检查了表 3 中 select * from table1 INNER JOIN table2 USING(id) 中每条记录的记录是否存在。您最终会得到数千个降低性能的select 命令。您可以通过

来改进它

select t1.*, t2.*, t3.pk_field from table1 t1 INNER JOIN table2 t2 USING(id)
LEFT JOIN table3 t3 ON (join codition)

现在您可以测试t3.pk_field 是否为空（如果为空则插入，否则更新）。改进它的下一步是编写一个处理所有事情的查询，使用 jasonbar 提出的INSERT ON DUPLICATE KEY UPDATE：

INSERT INTO table3(col1, col2,...) 
 select t1.col1, t1.col2, t2.col3, .... 
 from table1 t1 INNER JOIN table2 t2 USING(id)
ON DUPLICATE KEY UPDATE counter = new_value

Answer 2

您应该查看INSERT ON DUPLICATE KEY UPDATE 语法。

类似：

INSERT INTO `table3` (`col1`, `col2`) VALUES('val1', 'val2')
ON DUPLICATE KEY UPDATE `counter` = `counter` + 1;

如果一个简单的选择查询来查看 table3 中是否已经存在该行花费的时间太长，那么您可能没有使用索引（或者至少没有正确使用它们）。我们需要更多信息来尝试解决问题。