SQL Server BDC 池和性能

Question

针对基于 AKS 的 SQL Server 2019 BDC，我加载了 Flight_delay 数据集，该数据集位于 www.kaggle.com。我想测试各种数据存储的性能，即主实例、数据池、HDFS 存储池和 ADLS 存储池（通过 HDFS 分层）。

针对池 - 数据池、HDFS 存储池和 ADLS 存储池 - 我创建了要访问的外部表，如下面的脚本所示。

Select Count(*)
From [dbo].[Master_Flights]  F
Inner join [dbo].[Master_Airports] A on F.ORIGIN_AIRPORT = A.IATA_CODE
Inner join [dbo].[Master_Airlines] L on F.AIRLINE = L.IATA_CODE
GO

Select Count(*)
From [dbo].[DataPool_Flights]  F
Inner join [dbo].[DataPool_Airports] A on F.ORIGIN_AIRPORT = A.IATA_CODE
Inner join [dbo].[DataPool_Airlines] L on F.AIRLINE = L.IATA_CODE
GO

Select Count(*)
From [dbo].[HDFS_StoragePool_Flights]  F
Inner join [dbo].[HDFS_StoragePool_Airports] A on F.ORIGIN_AIRPORT = A.IATA_CODE
Inner join [dbo].[HDFS_StoragePool_Airlines] L on F.AIRLINE = L.IATA_CODE
GO

Select Count(*)
From [dbo].[adls_StoragePool_Flights]  F
Inner join [dbo].[adls_StoragePool_Airports] A on F.ORIGIN_AIRPORT = A.IATA_CODE
Inner join [dbo].[adls_StoragePool_Airlines] L on F.AIRLINE = L.IATA_CODE
GO

从“最好到最差”的表现：

1. 主实例 - 2 秒
2. 数据池 - 16 秒
3. HDFS 存储池 - 90 秒
4. ADLS-存储池 - 220 秒

我的测试结果是否符合预期？我希望至少可以为数据池选项获得相当好的性能结果。

如果池中的表的性能如此糟糕，为什么有人要使用它们？

谢谢， 格拉吉

Answer 1

让我们暂时忽略 ADLS - 涉及太多其他内容（区域之间的网络延迟等）。

这可能是索引或 IO 问题。

您的 AKS 集群有多大（机器系列和节点数）？ 当只针对事实表（航班）运行计数而不加入时，这些数字如何比较？ 将 CSV 转换为 parquet 时，HDFS 的性能如何？

本