Azure 数据湖分析与 Azure SQL 数据仓库答案

【问题标题】：Azure Data Lake Analytics Vs Azure SQL Data WarehouseAzure 数据湖分析与 Azure SQL 数据仓库
【发布时间】：2018-04-10 07:00:08
【问题描述】：

我正在使用 ADF 连接到源并将数据获取到 Azure Data Lake 存储。将数据导入 Data Lake Store 后，我想在 SSRS 报告中进行一些转换、聚合和使用这些数据，以及创建多维数据集。

谁能建议我哪个是最佳选择（Azure Data Lake Analytics 或 Azure SQL DW）？

我希望在这里做出决定，在 Data Lake 之后采用哪一个。

【问题讨论】：

Reasons to use Azure Data Lake Analytics vs Traditional ETL approach的可能重复

标签： azure azure-sql-database azure-data-lake

【解决方案1】：

Microsoft Azure 不再对 Azure Data Lake Analytics (ADLA) 进行投资，您可以清楚地看到过去几年的增强/更新数量在 ADLA 中几乎没有。另一方面，Azure SQL 数据仓库是他们的旗舰服务（最近被称为 azure synapse analytics），因此得到了非常快速的增强和更新。 Synapse 基于 MPP 架构，提供大数据计算所需的所有能力。

【讨论】：

【解决方案2】：

不再有 Azure SQL DW。我们现在拥有的是 Azure Synapse（与 Azure DW 相同）和 Azure Synapse Analytics（而不是 Azure Datalake 分析）。 Microsoft 正在停止支持（开发）USQL 和 Azure Datalake 分析。如果您的数据量很大并且您想使用 Polybase 技术，那么最好的选择是 Azure Synapse 和 Azure Synapse Analytics。您可以通过使用 Databricks 进行分析来丰富您的 ADF。通过使用 Polybase，您可以执行 ELT 而不是 ETL。

【讨论】：

【解决方案3】：

您的数据大小是多少？ Azure Data Lake 更适用于 PB 级大数据处理，Azure SQL 数据仓库更适用于大型关系 DWH 解决方案（从 250/500 GB 及以上）。

借助 Azure 数据湖，您甚至可以将数据湖中的数据提供给 NoSQL 数据库、SSAS 多维数据集、数据集市，或者直接进入 Power BI。借助 Azure SQL 数据仓库，您可以拥有多维数据集、Power BI 报告和 SSRS

如果您需要 SQL Server Reporting Services、Integration Services（并且您有复杂的 SSIS 逻辑）和 Analysis Services (SSAS)，您最好考虑使用 Azure SQL VM。

【讨论】：

谢谢阿尔贝托。数据量巨大，计划将数据湖存储作为暂存层，并在未来使用 ADLA 进行分析，并用于可视化规划以创建以 ADL 为源的 Azure DW。
根据我的理解，我们不能使用 ADLA 代替 Azure SQL DW rite？用于可视化目的。