【问题标题】:Migrate data from on-prem DW to Azure将数据从本地 DW 迁移到 Azure
【发布时间】:2015-11-11 22:59:41
【问题描述】:

我有一个使用 SQL Server 的本地数据仓库,将数据加载到 SQL 数据仓库的最佳方式是什么?

【问题讨论】:

    标签: azure azure-sql-database data-warehouse azure-sqldw


    【解决方案1】:

    加载数据的过程取决于数据量。对于非常小的数据集 (AzCopy 之类的工具将数据移动到 Azure Blob 存储,创建外部表(通过 TSQL 代码),然后通过Create Table As Select (CTAS) 声明。

    使用 PolyBase/CTAS 路由将允许您利用 Azure SQL 数据仓库(基于 MPP 的系统)中的多个计算节点和数据处理的并行特性。这将大大提高数据摄取性能,因为每个计算节点都能够与其他节点并行处理数据块。

    还有一个考虑因素是在执行 CTAS 语句时增加 SQL 数据仓库中可用的 DWU(计算资源)数量。这将增加计算资源的数量,增加额外的并行度,从而减少总摄取时间。

    【讨论】:

      【解决方案2】:

      SQL 数据库迁移向导是将架构和数据从本地数据库迁移到 Azure sql 数据库的有用工具。 http://sqlazuremw.codeplex.com/

      【讨论】:

      • 这不太适合这个问题,它专门针对 SQL DW 而不是 SQL DB。诀窍是在 MPP 基础架构中有效地工作。
      猜你喜欢
      • 2020-06-08
      • 2017-08-15
      • 1970-01-01
      • 2019-11-26
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-03-05
      • 1970-01-01
      相关资源
      最近更新 更多