将 ANSI 转换为 UTF-8 和 java.lang.OutOfMemoryError：Java 堆空间

Question

我的最终目标是将文件从 ANSI 转换为 UTF-8。为此，我使用了一些 Java 代码：

import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.CharBuffer;
import java.nio.charset.Charset;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;

public class ConvertFromAnsiToUtf8 {

    public static void main(String[] args) throws IOException {

        try {
            Path p = Paths.get("C:\\shared_to_vm\\test_encode\\test.csv");
            ByteBuffer bb = ByteBuffer.wrap(Files.readAllBytes(p));
            CharBuffer cb = Charset.forName("windows-1252").decode(bb);
            bb = Charset.forName("UTF-8").encode(cb);
            Files.write(p, bb.array());
        } catch (Exception e) {
            System.out.println(e);
        } 

    } 

}

当我在小文件上测试代码时，它可以完美运行。我的文件从 ANSI 转换为 UTF-8，所有字符都被识别和编码。但是，一旦我尝试在需要转换的文件上使用它，就会收到错误 java.lang.OutOfMemoryError: Java heap space。

就我的理解而言，我的文件中有大约 150 万行，所以我很确定我用我的应用程序创建了太多的对象。

当然，我已经检查过这个错误的含义以及如何解决它（例如here 或here），但是提高我的 JVM 的内存容量是解决它的唯一方法吗？如果是，我应该使用多少？

任何形式的帮助（提示、建议、链接或其他）将不胜感激！

Answer 1

不要一次读取整个文件：

ByteBuffer bb = ByteBuffer.wrap(Files.readAllBytes(p));

请尝试逐行阅读：

Files.lines(p, Charset.forName("windows-1252")).forEach(line -> {
   // Convert your line, write to file
});

Answer 2

如果您有一个比可用随机存取内存大的大文件，您应该逐块转换字符。

您可以找到以下示例：

import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;
import java.nio.channels.ReadableByteChannel;
import java.nio.channels.WritableByteChannel;
import java.nio.charset.Charset;
import java.nio.charset.CharsetDecoder;
import java.nio.charset.CharsetEncoder;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.StandardOpenOption;

public class Iconv {

    private static void iconv(Charset toCode, Charset fromCode, Path src, Path dst) throws IOException {
        CharsetDecoder decoder = fromCode.newDecoder();
        CharsetEncoder encoder = toCode.newEncoder();
        try (ReadableByteChannel source = FileChannel.open(src, StandardOpenOption.READ);
                WritableByteChannel destination = FileChannel.open(dst, StandardOpenOption.CREATE, StandardOpenOption.TRUNCATE_EXISTING,
                        StandardOpenOption.WRITE);) {
            ByteBuffer readBytes = ByteBuffer.allocate(4096);
            while (source.read(readBytes) > 0) {
                readBytes.flip();
                destination.write(encoder.encode(decoder.decode(readBytes)));
                readBytes.clear();
            }
        }
    }

    public static void main(String[] args) throws Exception {
        iconv(Charset.forName("UTF-8"), Charset.forName("Windows-1252"), Paths.get("test.csv") , Paths.get("test-utf8.csv") );
    }

}

Answer 3

流式传输输入，转换字符编码，并随时写入输出。这样，您不需要将整个文件读入内存，而只需要尽可能多地读入内存即可。

如果您想最大限度地减少（缓慢）系统调用的数量，您可以使用类似的方法，但显式创建具有更大内部缓冲区的BufferedInputStream，然后将其包装在InputStreamReader 中。但是这里显示的简单方法在许多应用程序中不太可能成为关键点。

private static final Charset WINDOWS1252 = Charset.forName("windows-1252");

private static final int DEFAULT_BUF_SIZE = 8192;

public static void transcode(Path input, Path output) throws IOException {
    try (Reader r = Files.newBufferedReader(input, WINDOWS1252);
         Writer w = Files.newBufferedWriter(output, StandardCharsets.UTF_8, StandardOpenOption.CREATE_NEW)) {
        char[] buf = new char[DEFAULT_BUF_SIZE];
        while (true) {
            int n = r.read(buf);
            if (n < 0) break;
            w.write(buf, 0, n);
        }
    }
}