提高多连接合并的性能，包括更新

Question

我想根据联接更新列。不幸的是，我正在更新和合并的表相当大：87,220,021 行。

这是表格的内容（我正在与自己合并）：

ID            ID_VERSION           VALUE_1           VALUE_2    RES_EXPEC
1                 1                   A               NULL        NULL
1                 2                   A               NULL         1
1                 2                   B               NULL        NULL
1                 3                   B               NULL         1
2                 1                   A               NULL        NULL
2                 1                   B               NULL        NULL
2                 1                   B               NULL        NULL

这是我正在运行的代码：

MERGE INTO EXAMP_TAB USING(
     SELECT   ID, ID_VERSION, VALUE_1 FROM EXAMP_TAB) TAB_B
     ON (EXAMP_TAB.ID = TAB_B.ID
         AND EXAMP_TAB.ID_VERSION = (TAB_B.ID_VERSION - 1)
         AND EXAMP_TAB.VALUE_1 = TAB_B.VALUE_1)
WHEN MATCHED THEN
    UPDATE SET EXAMP_TAB.VALUE_2 = 1;

此操作的目的是检查之前版本的ID中是否存在VALUE_1中具有相同值的条目。如果是，则更新 VALUE_2。

很遗憾，此操作需要数小时。我阅读了一些关于索引的内容，但似乎它们对我没有帮助，因为它们不会提高 UPDATE 操作的性能。

我也对不涉及合并语句的操作持开放态度。

Answer 1

您可以在查询中获取该数据而无需更改任何数据：

-- Your sample data:
WITH EXAMP_TAB (ID,ID_VERSION,VALUE_1) as (
select 1, 1, 'A' from dual union all
select 1, 2, 'A' from dual union all        
select 1, 2, 'B' from dual union all
select 1, 3, 'B' from dual union all
select 2, 1, 'A' from dual union all
select 2, 1, 'B' from dual union all 
select 2, 1, 'B' from dual)
-- Select starting from here:
SELECT id, id_version, value_1
     , CASE WHEN EXISTS (SELECT 1 FROM EXAMP_TAB B
                          WHERE B.ID = A.ID
                            AND B.ID_VERSION = A.ID_VERSION - 1
                            AND B.VALUE_1 = A.VALUE_1)
            THEN 1
       END value_2
  FROM EXAMP_TAB A

结果：

ID   ID_VERSION   VALUE_1   VALUE_2
1    1            A         NULL 
1    2            A         1
1    2            B         NULL 
1    3            B         1
2    1            A         NULL 
2    1            B         NULL 
2    1            B         NULL 

该解决方案的好处是您不必担心保持数据是最新的。

Answer 2

您可以简单地使用更新语句来提高性能，如下所示：

Update EXAMP_TAB E
   SET VALUE_2 = 1 
 WHERE ROWID IN 
       (SELECT E1.ROWID 
          FROM EXAMP_TAB E1
          JOIN EXAMP_TAB E2
            ON E1.ID = E2.ID
           AND E1.ID_VERSION = E2.ID_VERSION - 1
           AND E1.VALUE_1 = E2.VALUE_2)

在这里，ID、ID_VERSION 和 VALUE_1 上的索引将提高整体更新操作的性能。

干杯！！

Answer 3

我的措辞略有不同：

MERGE INTO EXAMP_TAB USING
      (SELECT ID, ID_VERSION, VALUE_1
       FROM EXAMP_TAB
      ) TAB_B
      ON TAB_B.ID = EXAMP_TAB.ID AND
         TAB_B.ID_VERSION = EXAMP_TAB.ID_VERSION + 1 AND
         TAB_B.VALUE_1 = EXAMP_TAB.VALUE_1
WHEN MATCHED THEN
    UPDATE SET EXAMP_TAB.VALUE_2 = 1;

然后，索引可以提供帮助。你想要一个EXAMP_TAB(ID, VALUE_1, ID_VERSION) 的索引。此索引用于此代码中隐含的“连接”。

也就是说，您正在学习的是更新 8900 万行确实效率低下。我建议您在需要时使用查询来获取值。您可以使用窗口函数：

select e.*,
       (case when lag(id_version) over (partition by id, value_1 order by id_version) = id_version - 1
             then 1 else 0
        end) as value_2
from examp_tab;

有了上面的索引，这应该有相当不错的表现了。

Answer 4

在第一步中，您应该计算要更新的行数。如果数字很低（比如千分之一），请查看 索引。如果您必须更新 数百万行 索引访问是不行的。

您的merge 语句没有问题，但不幸的是，仅当表在 ID、ID_VERSION、VALUE_1 上具有主键时才有效。根据您在示例数据中的最后两行，情况似乎并非如此。

使用此数据简单测试MERGE 语句

        ID ID_VERSION VALUE_1 VALUE_2   
---------- ---------- ----    ----------
         1          1 A              
         1          2 A              
         1          2 A 

MERGE 以 ORA-30926: unable to get a stable set of rows in the source tables 失败，因为它不知道应该更新两行中的哪一行。

如果您想更新两个（所有）这样的行，请使用带有临时表的两步方法。

创建所有要更新的行的临时表

create table to_upd_tm as
select distinct a.ID, a.ID_VERSION, a.VALUE_1
from EXAMP_TAB  a
join EXAMP_TAB  b 
on a.id = b.id and
a.value_1 = b.value_1 and
a.id_version = b.id_version + 1 
;
create unique index to_upd_tm_idx1 on  to_upd_tm(ID, ID_VERSION, VALUE_1);

请注意，选择中的DISTINCT会删除重复项。

临时表上的唯一索引是下一步强制执行键保留表所必需的。

使用可更新的联接视图进行高性能的批量更新

update (
select a.*
from EXAMP_TAB a
join to_upd_tm b
on a.id = b.id and
a.value_1 = b.value_1 and
a.id_version = b.id_version)
set value_2 = 1;

结果

        ID ID_VERSION VALU VALUE_2   
---------- ---------- ---- ----------
         1          1 A              
         1          2 A    1         
         1          2 A    1 

一般来说，对于大容量 UPDATE，您希望使用 HASH JOIN 在两个表上看到带有 FULL TABLE SCAN 的 exceution plan，如下所示

-----------------------------------------------------------------------------------------
| Id  | Operation           | Name      | Rows  | Bytes |TempSpc| Cost (%CPU)| Time     |
-----------------------------------------------------------------------------------------
|   0 | UPDATE STATEMENT    |           |   642K|    41M|       |  4251   (1)| 00:00:52 |
|   1 |  UPDATE             | EXAMP_TAB |       |       |       |            |          |
|*  2 |   HASH JOIN         |           |   642K|    41M|    25M|  4251   (1)| 00:00:52 |
|   3 |    TABLE ACCESS FULL| TO_UPD_TM |   642K|    18M|       |   329   (2)| 00:00:04 |
|   4 |    TABLE ACCESS FULL| EXAMP_TAB |   857K|    30M|       |   651   (1)| 00:00:08 |
-----------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   2 - access("A"."ID"="B"."ID" AND "A"."VALUE_1"="B"."VALUE_1" AND 
              "A"."ID_VERSION"="B"."ID_VERSION")