如何处理大量的xml文件并更快地写入java中的文本文件

Question

我一天有数百万个 xml 文件。 xml 文件的大小从 10KB 到 50 MB。

我已经编写了 SAX 解析器来解析 xml 文件并写入文本文件。 我正在从数百万个 xml 文件中创建 35 个独特的文本文件。 我必须以先到先的基本方式解析这些 xml 文件，以便保持记录的顺序。

我必须非常快地处理文件。

xml 文件的总大小约为 1 TB。 我还没有实现多线程来处理 xml 文件，因为我必须以先到先的方式处理它。

如何快速处理所有的xml文件？

在将我的代码移动到 prod 之前，我只是想检查一下我是否需要重新考虑我的实现。

这就是我读取 xml 文件并处理它的方式。

public static void main(String[] args) {
        File folder = new File("c://temp//SDIFILES");

        File[] files = folder.listFiles();

        Arrays.sort(files, new Comparator<Object>() {
            public int compare(Object o1, Object o2) {

                if (((File) o1).lastModified() > ((File) o2).lastModified()) {
                    return -1;
                } else if (((File) o1).lastModified() < ((File) o2).lastModified()) {
                    return +1;
                } else {
                    return 0;
                }
            }

        });

        for (File file : files) {
            System.out.println("Started Processing file :" + Arrays.asList(file));
            new MySaxParser(file);
        }

    }

我不确定我的处理是否适用于数百万个 xml 文件。

Answer 1

正如你所说，你必须按照先到先得的原则处理它。 你可以把每个xml文件看成一个java方法，然后你可以实现多线程来处理xml文件。我认为这样可以节省很多时间。

Answer 2

马上：

return Long.compareTo(((File) o1).lastModified(), ((File) o2).lastModified());

• 读写缓冲
• 小心字符串操作
• 没有验证
• 对于 DTD，使用 XML 目录
• 使用分析器！ （在 Excel 生成中救了我）
• 如果可能，使用数据库而不是 35 个输出文件
• 检查 RAM 磁盘等
• 当然有很多内存-Xmx

最后的手段，XML 拉解析器 (StaX) i.o。 Xalan/Xerces 或纯文本解析，是你试图阻止的；所以不予置评。

Arrays.sort(files, new Comparator<File>() {
        @Override
        public int compare(File o1, File o2) {
            return Long.compareTo(o1.lastModified(), o2.lastModified());
        }
    });

Answer 3

有很多事情需要考虑...

1. 当所有文件都已经存在于c://temp//SDIFILES 文件夹中时，这是一个批处理过程，还是一种等待下一个文件出现在那里的事件侦听器？

2. 您有所有这些 XML 的 XSD 架构吗？如果是这样，您可能会考虑预先使用 JAXB 解组器而不是自定义 SAX 解析器

恕我直言...

1. 如果是批处理 - 将解析过程与将结果合并到文本文件中分开。然后，您可以通过使用一些临时/阶段文件/对象在将它们放入文本文件之前应用多线程来解析文件。 即

   • 在资源允许的情况下运行尽可能多的解析线程（内存/cpu）
   • 将每个解析器结果放在临时文件/数据库/内存映射等中。 它的订单号或时间戳
   • 将准备好的结果合并到文本文件中，作为整个过程的最后一步。因此，您不会等待仅在前一个解析时才解析下一个 XML 文件。

2. 如果它是一个监听器，它也可以使用多线程来解析，但可能需要的更多。例如，定期将结果合并到文本文件中（例如每 10 秒一次），这将选择标记为就绪的临时结果文件

无论如何，这两种情况都是“分割过程”。 假设您可以为按时间戳文件列表排序的接下来的 5 个文件运行 5 个解析线程，然后等到所有 5 个解析线程完成（结果可能不需要临时文件，但如果可能的话可以留在内存中），然后组合成文本文件。 ...然后选择接下来的 5 个文件，依此类推...

...类似的东西...

当然，大量文件需要时间的顺序处理，主要是从 XML 中解析它们。