Java 性能 - 如何以高性能将大数组写入磁盘/SD 卡？

Question

在 Java 中有没有办法将一个大数组（比如整数）写入磁盘？我在 Android 上执行此操作，但尚未找到任何接近原生 C 代码的方法。

生成的文件不需要移植到具有不同表示形式的不同机器上，因此从逻辑上讲，只需批量写入底层字节就足够了。但我不知道如何通过 Java 有效地做到这一点。

我已经尝试在网上搜索，并测试了以下内容：

• 序列化 - 非常慢，正如预期的那样。
• 使用 NIO - 仍然很慢 - Android 跟踪显示每个整数一次一个操作：

提前致谢

---

蔚来代码：

int[] array = new array[10000000];

...

raf = new RandomAccessFile(ti.testFileName, "rw");
chan = raf.getChannel();
MappedByteBuffer out = chan.map(FileChannel.MapMode.READ_WRITE, 0, array.length*4);
ib = out.asIntBuffer();
ib.put(array);
out.force();
raf.close();

Answer 1

您说它很慢，但速度可能取决于您的磁盘子系统的速度。您应该能够在大约半秒内将 40 MB 写入普通磁盘以提交到磁盘。

以下使用 NIO，写入需要 665 毫秒，在工作站上需要 62 毫秒。读取和写入会随机移动相同数量的数据，但读取可以从 OS 缓存中获取数据，这与写入磁盘所需的时间不同。

int[] ints = new int[10 * 1000 * 1000];
long start = System.nanoTime();

ByteBuffer byteBuffer = ByteBuffer.allocateDirect(ints.length*4+4);
byteBuffer.putInt(ints.length);
IntBuffer intBuffer = byteBuffer.asIntBuffer();
intBuffer.put(ints);
byteBuffer.position(0);

FileChannel fc = new FileOutputStream("main.dat").getChannel();
fc.write(byteBuffer);
fc.force(false);
fc.close();
long time = System.nanoTime() - start;
System.out.println("Write time " + time / 1000 / 1000 + " ms.");

long start2 = System.nanoTime();
FileChannel fc2 = new FileInputStream("main.dat").getChannel();
ByteBuffer lengthBuffer = ByteBuffer.allocate(4);
while(lengthBuffer.remaining()>0) fc2.read(lengthBuffer);
int length = lengthBuffer.getInt(0);

int[] ints2 = new int[length];
ByteBuffer buffer2 = ByteBuffer.allocateDirect(length*4);
while(buffer2.remaining()>0 && fc2.read(buffer2) > 0);
buffer2.flip();
buffer2.asIntBuffer().get(ints2);
long time2 = System.nanoTime() - start2;
System.out.println("Read time " + time2 / 1000 / 1000 + " ms.");

我已将长度添加到文件的开头，因此不必假设它。顺便说一句：我已经修复了写入中的一个错误。

Answer 2

彼得，

当某件事看起来好得令人难以置信时，通常是这样。写入 40MB 数据需要 89 毫秒，这表明您的 HDD 具有更大的 500MB/秒的带宽（因为您还包括了打开和关闭文件的时间）。这不太可能是真的。您是否检查过该文件实际上大小为 40MB。另外，我建议您初始化缓冲区以查看文件内容并非全为零。可能只是跳过了未触及的缓冲区。不管是什么，你所拥有的数字都好得令人难以置信。

谢谢。

Answer 3

考虑缓冲你的输出流

Answer 4

我不知道 Android 的实现，但在标准 Java 中，好的老式 IO 往往胜过 NIO。

例如，如果你有一个字节数组，我相信下面的代码应该会比较快：

byte[] bytes = new byte[10000];
// ...
FileOutputStream out = new FileOutputStream(...);
try {
    out.write(bytes);
} finally {
    out.close();
}

请记住，这将阻塞直到整个字节数组被写入。但是你没有说非阻塞行为是否有问题。

您没有提到的另一件事是您打算在写入文件时如何对整数进行编码。您需要在写入文件之前在内存中执行编码，但可能数组太大而无法一次全部编码，在这种情况下您可以编码/写入数百 K 的块。