具有字符串键部分重用的 Java 内存映射答案

【问题标题】：Java in-memory map with string key part reuse具有字符串键部分重用的 Java 内存映射
【发布时间】：2022-01-07 17:22:40
【问题描述】：

我在地图中有数万条记录。映射键是s3://mybucket/some/path/2021/03/03/file.txt、s3://mybucket/some/path/2021/03/04/file.txt 之类的字符串，值是0 或1。目前我用的是HashMap，但是内存占用太高了，我想减少一下。

我正在寻找一种键值对并利用关键部分可重用性的东西。自然想到的是使用一些树结构来存储前缀。

有人能指出一个合适的实现吗，最好是轻量级的？

【问题讨论】：

很多值是 0 吗？如果是这样，您能否将“密钥不存在”视为“密钥存在但值为 0”？如果是这样，您可以使用...的HashSet的HashSet 否则，您可以使用...的HashMap的HashMap
@JeffHolt 哈希实现仍然非常占用内存，因为前缀没有被重用。
如果你有一个“hash of a hash of a hash....”，那么有没有个前缀重复。

标签： java dictionary trie prefix-tree

【解决方案1】：

Prefix Tree 是一种可能的解决方案，在空间复杂度方面将是轻量级的。这是使用Trie 实现Prefix Tree 的Java。我对child 使用了HashMap，因为我不确定字母大小。如果您确定字典中的字母大小，您绝对可以为 child TrieNode 使用固定长度。仅当TrieNode 标记字符串的结尾时，每个TrieNode 才会存储密钥的value。当您找到存储了最后一个character 密钥的TrieNode 时，您就可以访问value；

class TrieNode {
    HashMap<Character, TrieNode> child;
    boolean isEnd;
    int value;

    TrieNode() {
        this.child = new HashMap<>();
    }

}

public class PrefixTree {
    private TrieNode root;

    public PrefixTree() {
        this.root = new TrieNode();
    }

    public void put(String key, int value) {
        char[] data = key.toCharArray();
        TrieNode tempNode = root;

        for (char ch : data) {
            if (tempNode.child.get(ch) == null) {
                tempNode.child.put(ch, new TrieNode());
            }
            tempNode = tempNode.child.get(ch);

        }
        tempNode.isEnd = true;
        tempNode.value = value;
    }


    public TrieNode get(String key) {
        char[] data = key.toCharArray();
        TrieNode tempNode = root;
        for (char ch : data) {
            if (tempNode.child.get(ch) == null) {
                return null;
            }
            tempNode = tempNode.child.get(ch);
        }
        if (tempNode != null && tempNode.isEnd == false)
            return null;

        return tempNode;
    }

    public static void main(String[] args) {
        String[] input = {
                "s3://mybucket/some/path/2021/03/03/file.txt",
                "s3://mybucket/some/path/2021/03/04/file.txt",
                "s3://mybucket/some/path/2021/03/05/file.txt",
                "s3://mybucket/some/path/2021/03/06/file.txt",
                "s3://mybucket/some/path/2021/03/07/file.txt",
        };
        PrefixTree prefixTree = new PrefixTree();
        Random random = new Random();

        for(String key: input){
            prefixTree.put(key, random.nextInt(2)); // inserts 0-1 randomly
        }

        System.out.println(prefixTree.get(input[1]).value);

        // Update functionality demo
        prefixTree.put(input[1], prefixTree.get(input[1]).value+3);

        // value will be updated
        System.out.println(prefixTree.get(input[1]).value);

    }
}

【讨论】：