【问题标题】:Logical method of using SSIS to transform data and upload it to Azure Data Warehouse使用 SSIS 转换数据并上传到 Azure 数据仓库的逻辑方法
【发布时间】:2017-11-29 20:52:09
【问题描述】:

我当前的模型如下所示:

  1. 收集不同的数据源并导入 SQL Server。
  2. 使用 SSIS 包处理和转换数据。
  3. SSIS 包中的最后一步将数据上传到数据仓库。
  4. BI 工具从数据仓库中为最终用户提取数据。

这是一个合乎逻辑的工作流程吗?我最初打算使用数据工厂和 Azure SSIS 集成运行时来处理数据。但是我不明白为什么需要这些步骤,因为在我的情况下,在本地构建我的 SSIS 包并将处理后的数据上传到我的数据仓库似乎更简单。我将从使用数据工厂和集成运行时获得什么好处?我主要担心的是我目前的模型会使自动化变得困难,但我并不完全确定。任何帮助表示赞赏。

【问题讨论】:

    标签: sql-server azure ssis azure-data-factory


    【解决方案1】:

    您可能的路径是本地 SSIS、云中 VM 上的 SSIS、ADF 中的 SSIS 或在 ADF 中本地构建管道。

    ADF 是一种用于数据移动和数据集成编排的 Azure Cloud PaaS 托管服务。要返回本地数据源,您需要在源端使用集成运行时网关。因此,如果您希望迁移到云优先架构或迁移到 Azure,ADF 是一个很好的解决方案(使用 V2)。

    如果您保留所有本地 SSIS,本地是最好的方案。

    如果这是混合的,您将继续在本地拥有一些数据并在云中加载 Azure 数据仓库,那么您仍然可以使用 SSIS on Prem 并将连接器连接到 ADW 作为目标。或者,如果您必须消除本地服务器的概念,您可以在 Azure 的 VM 中运行该 SSIS。

    如果您想消除数据中心服务器以及对 SSIS 服务器进行修补、维护等的需要,请在 ADF 中使用 SSIS,它提供 SSIS 即服务。在这种情况下,您仍然可以以混合方式移动数据。

    这真的取决于一些因素,例如您是否更愿意在 Visual Studio 中开发 SSIS 作业,或者您想在 ADF 中以 JSON 格式构建管道?您是否有迁移到云的计划或需要?您想迁移到云托管服务(即 ADF V2)吗?

    希望对你有帮助!!

    【讨论】:

    • 很好的概述,谢谢!经过进一步分析,我认为我目前做事的方式对我的需求是最有效的。不过,我会牢记这篇文章,如果事情变得不必要地复杂,我会重新分析我的计划。干杯!
    猜你喜欢
    • 1970-01-01
    • 2013-12-30
    • 1970-01-01
    • 2020-06-25
    • 2017-09-15
    • 1970-01-01
    • 1970-01-01
    • 2018-05-04
    • 2021-03-04
    相关资源
    最近更新 更多