如何避免通过 iText7 读取复杂 PDF 时内存不足？

Question

我正在使用 iText7 和 Java 来读取不是很大 (10-30MB) 的 PDF，但它们包含大量对象，在创建和使用 PdfDocument 时会导致 OutOfMemoryError 问题。 （内部xref 表和Map/Tree/Pdf[Dict/Array] 对象数以百万计。）

例如，一个 PDF 可能只有 33MB，但它包含一个包含 800 页的一百万行的单个表，而 PdfDocument 内部的簿记容量高达 400MB。这是示例代码和堆转储：

public static void main(String[] args) throws Exception {

    // PDF file is 33MB on disk (one big table over 800 pages)
    File pdf = new File("big.pdf"); // Also tried InputStream

    PdfReader reader = new PdfReader(pdf); // 35MB heap

    PdfDocument document = new PdfDocument(reader); // 400MB+ heap

    // do stuff ... assuming we didn't get an OOM above
}

我们为 JVM 添加了更多内存，但我们不知道其中一些 PDF 可能有多大/复杂，因此需要一个长期的解决方案，理想情况下是让我们可以分段或在事件中读取内容的解决方案- 类回调方式（如 XML+STAX/SAX）。

有没有更有效的方法来流式传输 PDF 或将其分解为子 PdfDocuments 给定文件或 InputStream？我们想要定位和提取表单、表格、工具提示等对象。

更新：我与 IText 团队取得了联系，IText7 不允许部分阅读 PDF。因此，在这种情况下，除了添加更多 RAM 或预解析 PDF mysql 并查找“太多数据”（大量工作）之外，我无能为力。我还检查了PDFBox，它也遇到了同样的问题。

Answer 1

您可以执行以下操作来读取大文件：

RandomAccessSourceFactory rasf = new RandomAccessSourceFactory();

RandomAccessSource ras = rasf.createBestSource(file);

RandomAccessFileOrArray rafoa = new RandomAccessFileOrArray(ras);

PdfReader pdfReader = new PdfReader(rafoa, null);