在大目录中搜索的最快方法是什么

Question

我正在用 Java 实现一个文件传输工具，它将传输一些“X”号。文件，其中“X”可由用户从一个 SFTP 服务器配置到另一个。传输位有效，但它可能会拾取重复文件（逻辑尚未到位）。

现在 SFTP_source 服务器每天接收数十万个文件，我无法弄清楚如何执行快速搜索以避免在源服务器上这个庞大的文件列表中重复文件传输。

或者还请建议是否有更好、更快的方法来实现这一目标，而无需执行昂贵的搜索操作？如果通过文件名搜索是唯一的方法，那么使用什么搜索范例？

谢谢。

Answer 1

6M 文件不是 那么 太多的内存。实验上，将前 6M 个自然数的字符串表示形式添加到 HashSet<String> 与 -Xmx1G 一起工作，而与 -Xmx512M 一起失败；在我的机器（Java 8、64 位）上只需要 2.5 秒。因此，使用 HashSet 绝对是可行的。

如果您愿意牺牲速度，则可以通过使用磁盘存储索引来大幅降低内存占用。在这种情况下，您最好使用实际的数据库 - 它们经过优化，可以索引和搜索不适合内存的大型集合。

我用于测试的代码：

import java.util.*;
public class C {
    public static void main(String ... args) {
        HashSet<String> hs = new HashSet<>();
        long t = System.currentTimeMillis();
        for (int i=0; i< 6 * 1000 * 1000; i++) {
            hs.add("" + i); // add returns "false" if key is already present
        }
        System.out.println("Added " + hs.size() + " keys in " 
            + (System.currentTimeMillis()-t));
    }
}