优化插入查询

Question

我正在尝试在全局表中插入逗号分隔值。当数据很大时，处理数据需要很长时间。我需要优化我的插入查询，有没有其他方法可以实现下面的插入语句以获得更好的优化？请检查下面的代码以获取更多信息。感谢您提供任何帮助。

//my proc
emp_id in CLOB;


//insert statement
insert into Global_Emp_Tbl
with inputs(str) as(
select to_clob(emp_id)
from dual
),
temp_table(s, n, empid, st_pos, end_pos) as (
select ',' || str || ',', -1, null, null, 1
from inputs

union all
selct s, n+1, substr(s, st_pos, end_pos - st_pos),
end_pos + 1, instr(s, ',', 1, n+3)
from temp_table
where end_pos != 0
)
select empid from temp_table where empid is not null;
commit;

//using insert table in where clause
exists( select 1 from Global_Emp_Tbl gt  where e.id =gt.emp_id ) //joining with main table

Answer 1

我无法在Oracle Database 11g Express Edition Release 11.2.0.2.0 - 64bit Production 中重现您的问题

此过程提供样本数据，前 N 个整数的 CLOB csv 列表

create or replace function get_list(N NUMBER) return CLOB
as
 v_lst CLOB;
 i PLS_INTEGER;
BEGIN
  v_lst :='1';
  for  i  in 2 .. n loop
     v_lst :=v_lst||','||to_char(i);
  end loop;   
  return(v_lst);
END;
/

请注意，5K 参数给出了大约 20K 长的列表。

select length(get_list(5000)) from dual;
23892

在全局临时表中解析此列表在 秒 内完成，而不是在 分钟 内完成。这是一个使用您的SELECT的示例

SQL> set timi on;
SQL> create global temporary table csv_tbl
  2  ON COMMIT PRESERVE ROWS
  3  as
  4  with inputs(str) as(
  5  select get_list(5000)
  6  from dual
  7  ),
  8  temp_table(s, n, empid, st_pos, end_pos) as (
  9  select ',' || str || ',', -1, null, null, 1
 10  from inputs
 11  union all
 12  select s, n+1, substr(s, st_pos, end_pos - st_pos),
 13  end_pos + 1, instr(s, ',', 1, n+3)
 14  from temp_table
 15  where end_pos != 0
 16  )
 17  select  empid  from temp_table where empid is not null
 18  ;

Table created.

Elapsed: 00:00:01.35

所以最可能的解释是，花费最多的时间是用EXISTS 子句进行查询

exists( select 1 from Global_Emp_Tbl gt  where e.id =gt.emp_id )

我想到了两个问题

1) 临时表和EMP 表中EMP_ID 的数据类型不同，例如：在临时表中为VARCHAR2，在EMP 表中为NUMBER - 这将禁止在EMP 表上使用索引。

2) 全局临时表上缺少的对象统计信息导致CBO 出现错误的执行计划，而您使用索引（在一个大嵌套循环），您应该使用全表扫描。

Answer 2

你可以使用简单的 REGEXP_SUBSTR 来实现同样的效果

    insert into Global_Emp_Tbl
    SELECT Regexp_substr(empid, '[^,]+', 1, LEVEL) AS empid
    FROM   (SELECT To_clob(emp_id) empid
            FROM   dual)
    CONNECT BY LEVEL <= Regexp_count(emp_id, '[^,]+');
    commit;

另外，还有一个建议尝试在您的函数中更改以下内容

 select empid from temp_table where n > 0;