我有一个文本文件，其中包含要加载到数据库中的文件列表。
列表包含两列：
FilePath,Type
c:\f1.txt,A
c:\f2.txt,B
c:\f3.txt,B
我想将此文件作为 SSIS 的源提供。然后我希望它一行一行地通过它。对于每一行，我希望它读取 FilePath 列中的文件并检查类型。
如果类型是 A，那么我希望它忽略位于当前行的 FilePath 列的文件的前 4 行，然后将该文件内的其余数据加载到表中。 如果类型是 B，那么我希望它打开文件并将文件的第一列复制到表 1 中，将第二列复制到表 2 中以获取所有行。
如果有人能提供我需要遵循的步骤的高级列表，我将不胜感激。
感谢任何帮助。
【问题讨论】：
这是在 SSIS 中执行此操作的一种方法。以下步骤针对SSIS 2008 R2。
FileName、FilesToRead和Type。 FilesToRead 变量将保存文件列表及其类型信息。我们将有一个循环遍历这些记录中的每一个，并在每次循环时将信息存储在 FileName 和 Type 变量中。SQLServer。FileName 和 Type 的两列，将其命名为 Files。Type_A。在此平面文件连接管理器中，在文本框中输入值 4 Header rows to skip，以便始终跳过前四行。Type_B。Files 读取所有文件，然后放置一个 Recordset Destination。在记录集目标中配置变量FilesToRead。您的第一个数据流任务如下所示。FilesToRead 中的记录集。由于记录集包含两列，每次循环遍历记录时，变量FileName 和Type 将被分配当前记录的值。Type A files 和Type B files。您可以根据需要配置这些数据流任务中的每一个，以从连接管理器中读取文件。但是，我们需要根据正在读取的文件禁用任务。，Type A files数据流任务只有在处理A类文件时才需要开启。Type B files 数据流任务只有在处理 B 类文件时才应启用。Type A files 数据流任务并按 F4 以显示属性。点击Expression 属性上的省略号按钮。Disable 属性并输入表达式!(@[User::Type] == "A")
Type B files数据流任务，按F4调出属性。点击Expression 属性上的省略号按钮。Disable 属性并输入表达式!(@[User::Type] == "B")
Type A files数据流任务。Type B files数据流任务。CR LF 表示行以回车和换行结束。该文件存放在路径C:\f1.txtdbo.Table_A 的表，如下所示。Type A files来处理对应的文件。双击数据流任务Type A files。在任务中放置一个平面文件源和 OLE DB 目标。DelayValidation 属性设置为True。单击Expressions 属性上的Ellipsis 按钮。ConnectionString 属性并将其设置为表达式@[User::FileName]
希望能帮助您完成任务。
【讨论】：
我建议您为要执行的每种不同类型的文件加载创建一个 SSIS 包。您可以从另一个程序执行这些包，请参见此处：How to execute an SSIS package from .NET?
根据这些信息，您可以编写一个快速程序来执行相关的包：
var jobs = File.ReadLines("C:\\temp\\order.txt")
.Skip(1)
.Select(line => line.Split(','))
.Select(tokens => new { File = tokens[0], Category = tokens[1] });
foreach (var job in jobs)
{
// execute the relevant package for job.Category using job.File
}
【讨论】：
我的解决方案看起来像 N + 1 个平面文件连接管理器来处理源文件。 CM A 将解决跳过前 4 行文件格式，B 听起来它只是一个 2 列文件，等等。最后一个 CM 将用于解析您说明的命令文件。
现在您已经定义了所有这些连接管理器，您可以着手处理逻辑了。
创建 3 个变量。 2 类型的字符串（CurrentPath，CurrentType）。 1 是 Object 类型，我称之为 Recordset。
第一个数据流使用“CM Control”从平面文件源中读取所有行。这是您在示例中提供的数据。
然后，我们将使用该 Recordset 对象作为 ForEach 循环容器的源，通常称为粉碎。 Bingle 术语“Shred 记录集 ssis”，您一定会看到许多描述如何做到这一点的文章。最终结果是，对于该源 CM 控制文件中的每一行，您将这些值分配给 CurrentPath、CurrentType 变量。
在该循环容器内，创建一个控制中心点，以便控制向外辐射。我发现一个脚本任务非常适合这个。将它拖到画布上，给它一个强名称以表明它不用于任何事情，然后创建一个数据流来处理每个处理排列。
魔术来自使用表达式。在 SSIS 中的所有东西附近都可以在其属性上设置表达式，这就是专业人士与装腔作势者的区别。在这里，我们将双击连接到给定数据流的线并将约束类型从“约束”更改为“表达式和约束”然后您将使用的表达式类似于@[User::CurrentType] == "A" 这将确保仅采用路径当父任务都成功且条件为真时。
第二个表达式魔法将应用于连接管理器本身。他们需要让他们的 ConnectionString 属性由@[User::CurrentFile] 属性的值驱动。这将允许设计时值C:\filea.txt，但允许来自控制文件的运行时值是\\network\share\ClientFileA.txt 除非所有文件具有相同的结构，否则您很可能需要将 DelayValidation 设置为 True属性。否则，SSIS 将失败 PreValidation，因为所有“CM A”到“CM N”都将使用该 CurrentFile 变量，该变量可能是也可能不是该文件布局的有效连接字符串。
【讨论】：