更改内存限制为 20mb 的大文件

Question

我想从大 txt 文件中删除重复数字，其中第一行是行中排序数字的数量，但有内存限制 - 20 mb。我阅读了How to Read a Large File 的文章并尝试使用BufferedWriter，但该过程需要超过20 mb。 请帮帮我。

    import java.io.*;
import java.util.Scanner;

public class DeleteRepeatingNumbers {

    public static void main(String[] args) throws IOException {
        try (Scanner sc = new Scanner(
                new FileInputStream("input.txt"), "UTF-8");
             Writer writer = new BufferedWriter(
                     new OutputStreamWriter(
                             new FileOutputStream("output.txt"), "utf-8"))) {
            int n = sc.nextInt();
            int prevInt = 0;

            if (n != 0) {
                prevInt = sc.nextInt();
                writer.write(String.valueOf(prevInt));
            }
            for (int i = 0; i < n - 1; i++) {
                int next = sc.nextInt();
                if (next != prevInt) {
                    writer.write(System.getProperty("line.separator"));
                    writer.write(String.valueOf(next));
                    prevInt = next;
                }
            }
        }
    }
}

例子：

21
2
4
8
8
8
9
11
11
11
11
11
11
13
14
15
16
222
222
222
222
222

Answer 1

我不确定 20mb 是否足以启动 JVM，但从程序的角度来看，我们可以使用这些方法来减少内存占用。

这个问题可以有两种解决方案：

1. 您需要知道数字，以便检查是否重复。 逐行读取文件，并将数字压入HashMap。如果 hashmap.containsKey 返回一个 true，你可以假设它被复制了。 这样做的好处是一次迭代足以解决用例，但如果数字非常独特，则可能会突破 20MB 内存限制。
2. 您可以从文件中读取第一个数字，然后逐行再次遍历文件中的所有行并删除重复的出现。然后你从文件中读取下一条记录并再次迭代。 好一点：20mb 内存限制不是问题，不利的一面是迭代次数会增加，这将等于唯一编号的数量。

希望这会有所帮助。

Answer 2

如果你能告诉我你的资源，我可以更有效地帮助你。不过我觉得你可以先试试这个。

public class DeleteRepeatingNumbers {

	public static void deleteRepeatingNumber() {
		StringBuilder sb = new StringBuilder();
		try (Scanner sc = new Scanner(new FileInputStream("resources\\RepeatingNumberTest.txt"), "UTF-8")) {
			Set<Integer> dontRepeatedNumbers = new HashSet<>();
			while (sc.hasNext()) {
				dontRepeatedNumbers.add(sc.nextInt());
			}
			dontRepeatedNumbers.stream().forEach((Integer number) -> {
				sb.append(String.valueOf(number));
				sb.append(System.getProperty("line.separator"));
			});
		} catch (IOException e){
			System.out.println(e);
		}
		
		try (Writer writer = new BufferedWriter(new OutputStreamWriter(new FileOutputStream("resources\\RepeatingNumberTest_Output.txt"), "utf-8"))) {
			writer.write(sb.toString());
		} catch (IOException e){
			System.out.println(e);
		}
	}
}

我希望这会有用。