【发布时间】:2019-10-31 14:46:15
【问题描述】:
环境是 Azure DW 我有一个如下所示的原始表;
ID Start End Action date
1 10 15 Processed 25-10-2019
2 55 105 In-Progress 21-10-2019
.....
我需要扩展/转换 Start 和 End 列,使它们成为序列号;
SN Action date
10 Processed 25-10-2019
11 Processed 25-10-2019
12 Processed 25-10-2019
13 Processed 25-10-2019
14 Processed 25-10-2019
.....
Azure 数据仓库不支持递归 CTE 或游标。所以,尝试了一个while循环,
create table #temp_output (SerialNumber int not null, startSerialNumber int not null, endSerialNumber int not null);
insert into #temp_output select startSerialNumber, startSerialNumber, endSerialNumber from dbo.raw
declare @rowcount int, @cnt int, @start int, @end int
set @cnt = 1
set @rowcount = (select count(*) from dbo.raw)
while @cnt <= @rowcount
begin
select top (@cnt) @start = startSerialNumber from dbo.raw
select top (@cnt) @end = endSerialNumber from dbo.raw
while @start <= @end
begin
insert #temp_output
select max(SerialNumber) + 1,
startSerialNumber,
endSerialNumber
from #temp_output group by startSerialNumber, endSerialNumber having max(SerialNumber) < endSerialNumber
set @start = @start + 1
end
set @cnt = @cnt + 1
end
select SerialNumber, startSerialNumber, endSerialNumber from #temp_output_delta order by SerialNumber
但这需要很长时间(6 小时,当我取消查询时),因为原始表有 5000 万行。
需要更好的方法来做到这一点。
更新信息 31-10-2019
源表的分布是散列。 500 德武。 源表中有 6000 万行。 开始和结束之间的平均差 3000。 起步也可以是200万。 主表上没有索引。 列数 15 原始表上的聚集列存储索引。
【问题讨论】:
-
能否提供源表的 DDL,包括分布(循环或哈希)、数据类型和索引?还有一些关于数据的更多信息也会很有用,例如开始和结束之间的平均差异是多少。这将使您了解您期望的预期行数。假设它是 100 - 将 5000 万行变成 50000 万行是一项不平凡的操作。你在哪个 DWU 运行?
-
源表的分布是散列。 500 德武。源表中有 6000 万行。开始和结束之间的平均差 3000。开始也可以是 200 万。主表上没有索引。
标签: sql etl azure-sqldw