【问题标题】:Azure Data Warehouse Generate serial faster queryAzure 数据仓库 生成串行更快的查询
【发布时间】:2019-10-31 14:46:15
【问题描述】:

环境是 Azure DW 我有一个如下所示的原始表;

ID   Start   End   Action        date
1     10     15    Processed     25-10-2019
2     55     105   In-Progress   21-10-2019
.....

我需要扩展/转换 Start 和 End 列,使它们成为序列号;

SN      Action        date
10      Processed     25-10-2019
11      Processed     25-10-2019
12      Processed     25-10-2019
13      Processed     25-10-2019
14      Processed     25-10-2019
.....

Azure 数据仓库不支持递归 CTE 或游标。所以,尝试了一个while循环,



create table #temp_output (SerialNumber int not null, startSerialNumber int not null, endSerialNumber int not null);
insert into #temp_output select startSerialNumber, startSerialNumber, endSerialNumber from  dbo.raw
declare @rowcount int, @cnt int, @start int, @end int
set @cnt = 1
set @rowcount = (select count(*) from dbo.raw)
while @cnt <= @rowcount
begin
select top (@cnt) @start = startSerialNumber from dbo.raw
select top (@cnt) @end = endSerialNumber from dbo.raw
while @start <= @end
begin
       insert #temp_output
       select max(SerialNumber) + 1,
       startSerialNumber,
       endSerialNumber
       from #temp_output group by startSerialNumber, endSerialNumber having max(SerialNumber) < endSerialNumber
       set @start = @start + 1
       end
       set @cnt = @cnt + 1
       end
       select SerialNumber, startSerialNumber, endSerialNumber from #temp_output_delta order by SerialNumber

但这需要很长时间(6 小时,当我取消查询时),因为原始表有 5000 万行。

需要更好的方法来做到这一点。

更新信息 31-10-2019

源表的分布是散列。 500 德武。 源表中有 6000 万行。 开始和结束之间的平均差 3000。 起步也可以是200万。 主表上没有索引。 列数 15 原始表上的聚集列存储索引。

【问题讨论】:

  • 能否提供源表的 DDL,包括分布(循环或哈希)、数据类型和索引?还有一些关于数据的更多信息也会很有用,例如开始和结束之间的平均差异是多少。这将使您了解您期望的预期行数。假设它是 100 - 将 5000 万行变成 50000 万行是一项不平凡的操作。你在哪个 DWU 运行?
  • 源表的分布是散列。 500 德武。源表中有 6000 万行。开始和结束之间的平均差 3000。开始也可以是 200 万。主表上没有索引。

标签: sql etl azure-sqldw


【解决方案1】:

您的示例不完整,但您不需要循环。您可以使用 BETWEEN 将其加入计数表

如果你有一个计数表(这是一个简单的数字从 1 到... 100 万的表)

 SELECT T.TallyNumber As SN, E.Action, E.Date
 FROM YourTable E
 INNER JOIN TallyTable As T
 ON T.TallyNumber BETWEEN E.Start AND E.End

由于您要将其加载到新表中,因此您应该使用 CTAS

CREATE TABLE [dbo].[NewTable]
WITH
(
 DISTRIBUTION = HASH([Start])
 ,CLUSTERED COLUMNSTORE INDEX
)
AS
 SELECT T.TallyNumber As SN, E.Action, E.Date
 FROM YourTable E
 INNER JOIN TallyTable As T
 ON T.TallyNumber BETWEEN E.[Start] AND E.[End];

请注意,DISTRIBUTION 周围有很多设计。您需要正确执行此操作。上面的陈述只是一个例子。您可能应该使用不同的哈希值。

您需要正确获取两个源表的分布以及目标表的分布以获得良好的性能。

【讨论】:

  • 这是有效的,但是在 5000 万行上仍然很慢。
  • 它是 慢 吗?我认为它更快。用“慢”这样的词来评估性能真的没有意义,你需要可靠的指标,比如实际需要多长时间?此外,如果 YourTable 和 TallyTable 处于最佳位置,我希望它会更快。您在上面提到分布是散列,但这并不意味着不知道哪些列提供散列。你也在使用CTAS吗?这是您真正应该了解的两个 SQLDW 性能概念。
  • 我在我的答案中添加了一些 cmets。你应该真正正确地理解 CTAS 和 Distribution
猜你喜欢
  • 1970-01-01
  • 2017-01-03
  • 2017-09-15
  • 2019-08-02
  • 2017-10-29
  • 1970-01-01
  • 2016-09-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多