如何在不消耗内存的情况下进行流式 PDF 合并？

Question

我需要将许多小 pdf 文件合并为一个大 pdf (~200G)。而且我找不到可以在不吃掉我所有记忆的情况下做到这一点的库/工具。

我看了 itext、pdfbox、pdftk。但似乎它们都将文件存储在内存中。根据 pdf 文件结构，它应该很容易按顺序获取输入文档流并写入结果文件，只在内存中保存外部参照表。

我用来测试 iText 的代码。每个下一个文件都会消耗越来越多的内存：

public static void MergePDFs(String[] fileNames, String targetPdf) throws IOException, DocumentException {
    FileOutputStream stream = new FileOutputStream(targetPdf);
    Document document = new Document();
    PdfCopy pdf = new PdfCopy(document, stream);
    PdfReader reader = null;
    document.open();
    for (String file : fileNames) {
        reader = new PdfReader(file);
        pdf.addDocument(reader);
        pdf.freeReader(reader);
        reader.close();
    }
    if (reader != null) {
        reader.close();
    }
    document.close();
    stream.close();
}

Answer 1

一种策略是以 10 个文件为一组进行合并，然后合并中间文件。根据需要采取尽可能多的中间步骤。例如：

• 步骤 0：1 页 1000 个文件
• 第 1 步：100 个文件，共 10 页
• 第 2 步：10 个文件，共 100 页
• 第 3 步：1 个文件，共 1000 页

没有固定的规则，我说的是 10，但也许对你来说最佳的解决方案是每 8 或每 14，你必须进行实验。

理论上，您甚至可以在不同的机器上并行运行中间步骤，这可以显着加快合并速度，但需要更多硬件。

我的回答很笼统，适用于任何 pdf 库，但在 iText Software，我们所做的研究表明，这种策略更快且占用内存更少。