计算清理了多少字段以及 SSIS 上的哪些字段

Question

我正在做一个练习，我必须从平面文件源中清理数据并将其写入我的数据库。我已经设法通过为每个字段使用一些数据质量规则来清理所有字段，并且还生成错误代码，当规则被破坏时我将其写入不同的表。

我的问题是，对于练习的最后一步，我必须生成一些 Power BI 图形，其中显示了从源中修复了多少字段以及清理了哪些字段。我唯一想到的是将数据库表与平面文件源进行比较，或者可能对脚本组件做一些事情，但我并不认为这些是真正好的解决方案。

有人遇到过这个问题吗？如果有人可以为我指出这样的信息，那就太好了。谢谢！

Answer 1

如果我遇到类似问题，我将分三步进行：

1. 导入数据而不对临时表进行任何转换
2. 清理数据并将其加载到目标表中
3. 比较暂存表和目标表以获取修复了多少值。

Answer 2

从设计的角度来看 - 在开始清理之前建立一个密钥是核心。

使用可以使用 SSIS 派生列转换来创建业务键，该键是可用字段的串联以创建唯一键，使用 FindString 函数和字符串函数。

与上述步骤类似，在临时表中添加一列或使用派生列（取决于您是使用 sql cleanup 还是 ssis 任务进行清理）来指示它是否已被清理。