通用导入流程

Question

我正在考虑为我公司主系统的各个部分创建一个通用导入例程，以便在实施新客户端时使用。例如，我们可能会得到需要导入到通用模型中的库存、客户等的 excel 或 csv 文件。

我想知道是否有人有一些好的想法或最佳实践来做这样的事情（在技术和/或流程方面）。我们是一家基于 MS SQL2005 和 .Net 的商店。

我在考虑类似于 UPS 的 worldship 之类的东西，其中一个程序会解释您的导入文件，并且您将必须的列与 UPS 系统中的可用列相匹配，但可能有更好的方法......这只是我习惯的一个界面.

其次，我想以这样一种方式构建它，以便其他开发人员也可以将他们自己的数据操作例程插入到流程中（即，如果导入值为 Y，则更改为 1）。因此，对于如何实现这一点的任何想法都非常感谢！

我知道这些信息不足以提供全面的解决方案。我只是希望能得到一些好主意，也许对如何最好地攻击它有不同的看法；）

提前致谢！

Answer 1

我们使用 SSIS 并创建父子包。在子包中是标准字段和转换以及对生产表的导入。父包中包含任何非标准转换（由于该特定客户端的数据问题而需要）和非标准导入任务（可能它们提供通常不需要导入的专用数据。父包以以下格式获取客户端数据客户端能够将它提供给我们（这通常不是我们想要的格式）并将其转换为我们的标准格式，然后调用子包来做所有标准的事情。我们通过配置子包从父包发送的变量（例如会因不同客户端而改变的客户端 ID）。

需要注意的一点是使用比正常数据集更小的数据集开发子包。出于开发目的，请使用您希望从最大客户端获得的最大大小的文件。您不愿意花时间创建仅在文件较小时才有效的子程序包，而在文件较大时需要 24 小时。最好提前知道大文件的性能如何。