Spring批处理中的并行项目编写器答案

【问题标题】：Parallel Item Writers in Spring batchSpring批处理中的并行项目编写器
【发布时间】：2016-09-22 01:46:05
【问题描述】：

我对 Spring 批处理框架相当陌生。

我正在尝试使用commit-interval=10000 在阅读器中读取大约 100 万条记录，而在编写器中我需要对项目列表做两件事。

我认为这两个任务可以并行运行，而不是在 writer 类中编写顺序的 java 代码。

让两个编写器并行操作并完成各自任务的最佳方式应该是什么？

【问题讨论】：

为了清楚起见，您实际上是在要求一个并行工作的CompositeItemWriter，对吗？
是的，没错。
那你就需要自己写了。目前没有一个可以做到这一点。您将基本上模仿我们的CompositeItemWriter 中的代码，但将对每个代码的写入委托给TaskExecutor。然而，说实话，100 万条记录并不多（取决于每条记录的大小），所以这可能比它的价值更多......
好的，谢谢您的意见。它有帮助。

【解决方案1】：

您有多种选择。

选项 1：

缺点：

选项 2：
不要尝试并行运行对文件和数据库的写入，而是让您的块并行运行：

使用 SynchronizedItemStreamReader 从源中读取（如果使用并行块处理，则必须使用同步读取器）
使用配置了 db-writer 和 filewriter 的复合编写器（注意：您必须将文件编写器包装到 synchronizedWriter -> 框架中没有用于此的类，但原理与 SynchronizedItemStreamReader 中使用的相同)
配置您的任务以并行处理步骤（设置 asynctaskexecutor，设置油门限制）

优点：

缺点：

选项 3：
忘记并行性：写入文件比写入数据库要快得多，因此开销不应产生重大影响。只需使用配置了 db- 和 filewriter 的复合编写器。

【讨论】：

感谢您的详细回复，@Hansjoerg。如果我选择选项 3，它将是顺序处理，不是吗？
是的，这将是一个连续的过程。我仍然会使用复合项目编写器。这样，两个目标的条目都写入同一个事务中。请注意，您必须将两个编写器都注册为“流”到该步骤，以便调用 open close 并更新上下文以具有可重新启动性。