ETL 工具迁移：并行运行中的最佳实践答案

【问题标题】：ETL tool migration : Best Practices in Parallel RunETL 工具迁移：并行运行中的最佳实践
【发布时间】：2017-01-03 09:34:14
【问题描述】：

我是 ETL 迁移的新手。我曾与 Talend 合作过，但尚未面临将大型 ETL 项目从一种工具迁移到另一种工具（IBM Data Manager 到 Informatica PowerCenter 或 Informatica Developer）的任务。

我正在寻找将工作从一种工具迁移到另一种工具的一般指导方针，当然也适用于我的具体情况。

我会更清楚：

Databases Sources 和 Targets 将是相同的，我要迁移的是 ETL 部分本身。

该方法将是本博客建议的并行运行：

Parallel Run

在我的情况下，我不必迁移所有 DWH，而只需迁移 ETL，因为旧软件将成为旧软件，而新软件来自另一个供应商（幸运的是它们都可以导出 XML）。

我正在寻找并行运行的实用方法，确实有人建议我在原始数据库模式中复制源表和目标表，但在我看来它并不是最好的方法（即使在schema 有很多表）。

我正在使用的 DWH 当然在 Oracle 中有几个 DBS 实例，在 SQL Server 中有一些实例，一个测试服务器和一个生产服务器，以及每一个，一个暂存、存储和数据集市区域。

根据这个相关的问题及其答案，我正在考虑为每个项目随时随地复制每个架构。

Staging in ETL: Best Practices

希望有指南参考，但我的具体案例是从 IBM Data Manager 迁移到 Informatica PowerCenter

【问题讨论】：

这个问题不适合 SO 的问答形式。但这里有一些一般性的建议。创建目标数据库的副本。使用新软件重建 ELT。运行旧的和新的。检查它们是否产生完全相同的结果。然后一次又一次地检查。尽可能长时间地并行运行。这增加了捕获模糊/不常见错误的几率。迁移很快就会变得极其复杂。所以在这个过程中不要改变任何东西。升级、修复和新想法可以等待。如果在迁移当天一切都出错，请确保您可以回滚到旧解决方案。测试回滚。
@destination-data 我了解 SO 的问答格式，但我看不出我的问题不适合我，因为我尽可能具体（我编辑它编写所涉及的 ETL 软件） .我不是在征求意见，我是在要求针对此类复杂任务（从 ETL 迁移到另一个，并不常见）的最佳实践/经验列表。您的建议是合理的，这是我的第一种方法，当然不能在答案中写出解决方案，但是可以肯定的是，如果那里有一些高级 ETL 工程师，他/她可以给我一个路线图（但更具体我已经想到的）
如果我的问题不适合 SO 的问答，那么对于我链接的这个问题和许多类似问题应该是相同的。另一方面，你有什么建议让我的问题适合问答？谢谢
我的想法是，这类问题往往会吸引列表答案（主要是站外链接）。但总是很难准确地说出主题在哪里结束，离题在哪里开始。出于这个原因，我没有投票赞成关闭这个问题（我通常可能会这样做）。因为您的问题写得很好，所以我也决定不投反对票（通常情况下）。考虑您的迁移...如果不彻底了解可用的系统、流程、团队和技能，就很难提供具体建议。迁移失败/成功取决于事先进行的准备工作量。
@destination-data 我明白你的意思，我很感激你没有像往常一样继续。我可以说，我将有更多关于此迁移的经验，我会更新问题，使其更具体。

标签： parallel-processing etl data-warehouse informatica informatica-powercenter

【解决方案1】：

该方法取决于各种标准和个人喜好。无论哪种方式，您都需要复制部分或所有源和目标系统。在一种极端情况下，您可以使用整个系统的两个实例。如果您有复杂的上游进程作为测试的一部分，或者您有大量的表和进程，并且您有足够的带宽和资源来复制您的系统，那么这种方法可能是最佳选择。

在另一个极端，如果 ETL 工具本身发生任何复杂的过程，或者您只是在加载表并需要检查它们是否正确加载，然后制作表的副本并将您的新工具或旧工具指向表副本可能是要走的路。此方法非常简单且易于设置。

请记住，此论坛并非旨在取代有关这些技术的博客和深入的技术文章。

【讨论】：

我正在使用第二种方法，所以一种不太复杂，因为据我所知，项目不涉及复杂的 ETL 过程（同样的方法可以用不同的方式处理新的 Informatica ），即使我简化了，因为我可以设法在旧系统中不同时间的作业中从源中提取，因此可以使用相同的源）。我将采用这种方法，至少到目前为止我没有不同的要求。