【问题标题】:Design pattern recommendation for the below mentioned ssis data flow下面提到的 ssis 数据流的设计模式推荐
【发布时间】:2016-11-04 09:43:40
【问题描述】:

我们需要从 csv 文件中刷新表格。源文件列是文本类型。我们使用平面文件源编辑器来根据目标更改数据类型,而不是使用派生列来转换数据类型。

这个想法是避免派生列进行不必要的处理。 如果平面文件数据读取有错误,我们通过 flow2 转移它 这是一个好的 ETL 设计模式吗!?

【问题讨论】:

  • 你的问题不是很清楚
  • 您的系统越复杂,出错的可能性就越多。避免“脚本任务进行不必要的处理”比“派生列进行不必要的处理”要好得多

标签: design-patterns ssis etl ssis-2012 ssis-2008


【解决方案1】:

派生列/数据转换转换是非阻塞的,不会增加任何处理开销。但是,我觉得实现您正在做的事情的最佳方法是在平面文件连接管理器本身中定义列的数据类型,而不是通过错误路径。

【讨论】:

  • 谢谢。但是,脚本组件也是非阻塞的。在这种情况下我们可以避免不必要的处理吧?
  • 正如尼克所提到的,使用脚本任务是不必要的复杂性,也不容易维护。我能想到的唯一用例是您不想在列上定义数据类型是源数据类型变化的情况。在这种情况下,最好使用 BIML。在一般情况下,最好在连接本身定义。
  • 脚本任务有两个问题: 1. Visual Studio 编辑器不可靠,很容易损坏Visual Studio 安装,使您无法再编辑脚本; 2. 脚本在 C 盘上的 temp 中需要特殊的增强权限,而基础设施通常不愿意在生产机器上实现。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多