Java：使用 Apache POI 读取 10,000 个 excel 文件并写入 1 个 Java 主文件

Question

我在 Google 中进行了搜索，但找不到下面提到的问题的正确答案。如果这是一个重复的问题，请原谅我，但我找不到任何正确的答案。

所以，来回答这个问题。我必须在 Java 中读取多个 Excel 文件并从这些多个文件中生成最终的 Excel 报告文件。

有2个文件夹：

1. 源文件夹：包含多个 Excel 文件（大概 10,000 个文件）

2. 目标文件夹：从源文件夹中读取所有文件后，此文件夹将包含一个最终的 Master Excel 文件。

对于从 Source 文件夹中读取的每个 Excel 文件，Destination 文件夹中的主文件将各有 1 行。

我打算使用 Apache POI 在 Java 中读写 excel 文件。

我知道使用 POI 在 Java 中读取和写入文件很容易，但我的问题是，在这种情况下，有近 10,000 个文件要读取和写入到 1 个单个主文件中，最好的方法是什么？ ，考虑到程序所花费的时间和使用的 CPU。一次读取 1 个文件将非常耗时。

所以，我计划使用线程一次处理 100 个文件的批次。谁能指点我一些资源或建议我如何处理此要求？

已编辑：

我已经编写了使用 POI 读写文件的程序。下面提到了相同的代码：

        // Loop through the directory, fetching each file.
    File sourceDir = new File("SourceFolder");
    System.out.println("The current directory is = "+sourceDir);

    if(sourceDir.exists()) {
        if(sourceDir.isDirectory()){
            String[] filesInsideThisDir = sourceDir.list();
            numberOfFiles = filesInsideThisDir.length;
            for(String filename : filesInsideThisDir){
                System.out.println("(processFiles) The file name to read is = "+filename);

                // Read each file
                readExcelFile(filename);

                // Write the data
                writeMasterReport();
            }
        } else {
            System.out.println("(processFiles) Source directory specified is not a directory.");
        }
    } else {
    }

这里，SourceFolder 包含所有要读取的 Excel 文件。我正在遍历这个文件夹，一次获取 1 个文件，读取内容，然后写入 1 个 Master Excel 文件。

readExcelFile() 方法正在读取每个 excel 文件，并创建一个 List，其中包含要写入 Master excel 文件的每一行的数据。

writeMasterReport() 方法正在写入从每个 excel 文件中读取的数据。

程序运行良好。我的问题是，有什么方法可以通过使用 Threads 读取文件来优化此代码？我知道只有 1 个文件可以写入，并且不能并行完成。如果 sourceFolder 包含 10,000 个文件，那么这种方式的读写会花费很多时间来执行。

每个输入文件的大小约为几百 KB。

所以，我的问题是，我们可以使用线程批量读取文件，比如每个线程 100 或 500 个文件，然后为每个线程写入数据吗？我知道写入部分需要同步。这样至少可以最小化读写时间。请让我知道您对此的看法。

Answer 1

10k 个文件，每个文件约 100Kb，我们正在谈论读取 ca. ~1Gb 的数据。如果处理不是过于复杂（看起来如此），那么您的瓶颈将是 IO。

因此并行读取和处理文件很可能没有意义，因为 IO 有上限。
如果处理复杂/瓶颈，并行化将是有意义的。这里好像不是这样。