Spring Batch中如何读取多个CSV文件合并数据进行处理？

Question

我是 Spring Batch 的新手，并试图获得一些关于以下要求的指导。

总体要求：

我必须从不同的系统获取数据，应用一些业务逻辑，将结果保存到数据库中。

下面是一个例子。

我需要从 3 个 CSV 文件中读取数据。 第一个文件 - person.csv - 包含名称和 ID 第二个文件——address.csv——包含每个人的地址信息。一个人可以有零个或多个地址。
第三个文件——employment.csv——包含每个人的就业信息。一个人可以有零个或多个雇主。

这是一些示例。

Person.csv###（总大小为 800 万）

“人名”、“人名”

1，乔伊

2，钱德勒

3，罗斯

4，莫妮卡

地址.csv

“personID”、“addressType”、“state”

1，住宅，纽约

1、邮寄、NC

2，住宅，纽约

4，住宅，纽约

4、邮寄、DC

就业.csv

"personID", "employerName"

1，雇员1

2, emp2

2, emp3

3, emp4

注意：每个文件都按人员 ID 排序。

要应用业务逻辑，我需要合并每个人的数据，即我需要合并一个人的人员、地址、就业数据以应用逻辑。 你能建议任何方法吗？

Answer 1

听起来像是 4 step，工作。您必须决定步骤 1 到 3 的中间结果应该存放在哪里。

如果所有 CSV 文件中的数据都适合内存，那么步骤 1 到 3 的中间结果可能只是 Map，以 personID 作为键。如果不是，那么步骤 1 到 3 的中间结果可能应该写入数据库中的临时表。

假设所有数据都适合内存，创建一个可以注入到步骤 1 到 3 的 ItemWriters 的 bean，例如：

// in a config class...
// assuming PersonID is of type Long
// Assuming Person class has appropriate attributes
Map<Long, Person> people = new HashMap<>();

第 1 步：

• ItemReader - 读取下一个 Person.CSV 行并创建一个 Person 实例
• ItemProcessor - 无事可做 - 将 Person 实例传递给 ItemWriter
• ItemWriter - 将 Person 实例添加到 people 地图（或中间表）。

第 2 步：

• ItemReader - 读取下一个 Address.CSV 行并创建一个 Address 实例
• ItemProcessor - 无事可做 - 将 Address 实例传递给 ItemWriter
• ItemWriter - 将地址添加到来自people 映射（或中间表）的相关人员。 TODO：如果一个人的地址不存在怎么办？

第 3 步：

• ItemReader - 读取下一个就业.CSV 行并创建一个就业实例
• ItemProcessor - 无事可做 - 将就业实例传递给 ItemWriter
• ItemWriter - 将就业添加到来自people 映射（或中间表）的相关人员。 TODO：如果有一个不存在的人的工作应该怎么办？

由于在步骤 1 到 3 中 ItemProcessor 无需执行任何操作，因此使用 Tasklet 可能会更好。

此外，步骤 1 到 3 可以并行完成。它可能会提高性能，但会增加复杂性以确保正确填充 people。

第 4 步：

• ItemReader - 读取people（或中间表中的复合对象）的下一个元素
• ItemProcessor - 应用业务逻辑
• ItemWriter - 将结果写入数据库