【问题标题】:Informatica PowerCenter pipelines to Azure Data Factory到 Azure 数据工厂的 Informatica PowerCenter 管道
【发布时间】:2021-07-21 23:37:31
【问题描述】:

我正在尝试将我在 PC 10.1 中的 informatica 管道移动到 Azure 数据工厂/Synapse 管道。除了从头开始重写它们之外,有没有办法以某种方式迁移它们。我也没有找到任何工具来实现这一点。有没有人遇到过这个问题。关于如何继续前进的任何线索。

谢谢

【问题讨论】:

    标签: ssis etl azure-data-factory-2 informatica-powercenter azure-synapse


    【解决方案1】:

    没有现成的解决方案可用于完成此迁移。很遗憾,您将不得不重新创作它们。

    【讨论】:

      【解决方案2】:

      Informatica PowerCenter 管道是提取转换加载 (ETL) 过程的物理实现。每个提供者都有不同的实现方法,它们不一定能很好地相互映射。核心 Azure 数据工厂 (ADF) 实际上更适合提取、加载和转换 (ELT),除非您当然使用数据流。

      所以你要做的是:

      • 如果您还没有该文档,请实际规划您当前的管道正在做什么。一个简单的电子表格模板映射出现有管道的组件、跟踪源、目标以及任何转换就足够了
      • 逻辑上绘制出管道正在做什么;即,不使用 PowerCenter 特定的术语来说明“原样”管道正在做什么。 data flow diagram 是实现此目的的好方法
      • 逻辑上规划出“未来”管道应该做什么;即,不使用任何 ADF 特定的术语,尝试将“原样”管道改进为最简单的形式
      • 使用 ADF 组件(例如 Copy、Lookup、Notebook、Stored Proc 等等)的专业知识从逻辑“成为”映射到物理(从最松散的意义上说,现在都是云对 :),例如使用 Copy 活动将数据从一个地方移动到另一个地方,使用 Stored Proc 活动在 SQL 数据库中转换数据,重复的活动可能使用 For Each 循环(请记住这些是并行执行的),执行如果需要,使用 Databricks 笔记本进行复杂的转换或处理等。如果您需要低代码方法,请考虑使用数据流。

      所以您可以看到这只是几个简单的步骤。祝你好运!

      【讨论】:

      • 感谢您的建议。由于没有工具,我只是想知道是否有某种方法可以查询 informatica 管道中的元数据并减少进入 500 多个管道的手动工作单独收集现有的 ETL 逻辑。这将减轻一些痛苦
      • 嗯,这将有助于上述步骤 1。有一个用于以编程方式创建 ADF 管道的 API,您可以在此处查看:docs.microsoft.com/en-us/azure/data-factory/…
      猜你喜欢
      • 2019-10-24
      • 2020-08-15
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多