是java多线程可以优化多文件写入吗答案

【问题标题】：Is java multi thread can optimize multiple file writing是java多线程可以优化多文件写入吗
【发布时间】：2020-04-14 21:32:38
【问题描述】：

我有一个 400+ GB 的文件，例如：

ID Data ...4000+columns
001 dsa
002 Data
… …
17201297 asdfghjkl

我希望根据 ID 将文件分块以获得更快的数据检索，如下所示：

mylocation/0/0/1/data.json
mylocation/0/0/2/data.json
.....
mylocation/1/7/2/0/1/2/9/7/data.json

我的代码运行良好，但无论我使用什么编写器关闭循环结束，它至少需要 159,206 毫秒才能完成 0.001% 的文件创建。

在这种情况下，多线程是否可以成为降低时间复杂度的一种选择（例如一次写入 100 或 1k 个文件）？

我当前的代码是：

int percent = 0;
File file = new File(fileLocation + fileName);
FileReader fileReader = new FileReader(file); // to read input file

BufferedReader bufReader = new BufferedReader(fileReader);
BufferedWriter fw = null;
LinkedHashMap<String, BufferedWriter> fileMap = new LinkedHashMap<>();
int dataCounter = 0;

while ((theline = bufReader.readLine()) != null) {
    String generatedFilename = generatedFile + chrNo + "//" + directory + "gnomeV3.json";
    Path generatedJsonFilePath = Paths.get(generatedFilename);
    if (!Files.exists(generatedJsonFilePath)) {// create directory
        Files.createDirectories(generatedJsonFilePath.getParent());
        files.createFile(generatedJsonFilePath);
    }
    String jsonData = DBFileMaker(chrNo, theline, pos);
    if (fileMap.containsKey(generatedFilename)) {
        fw = fileMap.get(generatedFilename);
        fw.write(jsonData);
    } else {
        fw = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(generatedFilename)));
        fw.write(jsonData);
        fileMap.put(generatedFilename, fw);
    }
    if (dataCounter == 172 * percent) {// As I know my number of rows
        long millisec = stopwatch.elapsed(TimeUnit.MILLISECONDS);
        System.out.println("Upto: " + pos + " as " + (Double) (0.001 * percent)
        + "% completion successful." + " took: " + millisec + " miliseconds");
        percent++;
    }
    dataCounter++;
}
for (BufferedWriter generatedFiles : fileMap.values()) {
    generatedFiles.close();
}

【问题讨论】：

标签： java multithreading performance time filewriter

【解决方案1】：

这实际上取决于您的存储空间。 磁盘真的很喜欢顺序写入，所以多线程可能会对它们的性能产生不好的影响。但是，SSD 可能会受益于多线程写入。

您应该做的是将您的代码分成 2 个线程，其中一个线程创建要写入磁盘的数据缓冲区，而第二个线程只写入数据。这样，您的磁盘将始终保持忙碌状态，而不是等待生成更多数据。

或者有一个线程来生成要写入的缓冲区，但是使用 java nio 来异步写入数据，同时继续生成下一个缓冲区。

【讨论】：