Spring批量100万条记录——5小时

Question

用JdbcCursorItemReader从一个表中读取100万个ID，用FlatFileItemWriter写入一个文件，这个过程需要5个小时，这是否正常？

Spring 建议使用 JdbcCursorItemReader 来提高性能，我已经使用过了。还能做什么？

我可以完全跳过行映射器，因为我正在将获取的 ID 转换为映射器中的 Map 条目 (Map)，并在写入时从 Map 中获取 ID，这似乎没用。

Spring 批处理是此类场景的理想方法吗？

提前致谢

Answer 1

添加了 commitInterval 属性并将其值设置为 10,000。该过程现在在 44 分钟内完成。谢谢。