Java8 Stream批处理以避免OutOfMemory

Question

我有类似的东西：

    List<Data> dataList = stepts.stream()
        .flatMap(step -> step.getPartialDataList().stream())
        .collect(Collectors.toList());

所以我将每个步骤中的多个列表组合成 dataList。

我的问题是 dataList 可能会遇到 OutOfMemoryError。 关于如何批处理 dataList 并将批处理保存到数据库中的任何建议？

我最初的想法是：

    for (Step step : steps) {
        List<Data> partialDataList = step.getPartialDataList();

        if (dataList.size() + partialDataList.size() <= MAXIMUM_SIZE) {
            dataList.addAll(partialDataList);
        } else {
            saveIntoDb(dataList);
            dataList = new ArrayList<>();
        }
    }

PS：我知道有this 的帖子，但不同的是我可能无法将整个数据存储在内存中。

LE：getPartialDataList 方法更像 createPartialDataList()

Answer 1

如果您关心的是OutOfMemoryError，您可能不应该在保存到数据库之前创建额外的中间数据结构，例如列表或流。

由于Step.getPartialDataList() 已经返回List<Data>，因此数据已经在内存中，除非您有自己的List 实现。你只需要使用JDBC batch insert:

PreparedStatement ps = c.prepareStatement("INSERT INTO data VALUES (?, ?, ...)");
for (Step step : steps) {
    for (Data data : step.getPartialDataList()) {
        ps.setString(1, ...);
        ps.setString(2, ...);
        ...
        ps.addBatch();
    }   
}
ps.executeBatch();

没有必要使用dataList 过早地分块成更小的批次。在进行过早优化之前，请先查看您的数据库和 JDBC 驱动程序支持什么。

请注意，对于大多数数据库来说，插入大量数据的正确方法是外部实用程序，而不是 JDBC，例如PostgreSQL has COPY.