【发布时间】:2018-11-13 12:29:26
【问题描述】:
我需要一个键值对的内存数据结构(400 MB 的数据)。我对键有以下限制:
- 键和值都是长度为 256 和 1024 的文本字符串 分别。
- 任何键通常看起来像 k1k2k3k4k5,每个 k(i) 本身都是 4-8 字节的字符串。一些 k(i) 可能存在也可能不存在于键中。
- 每个 k(i) 有 6-8 种可能性。但是 k3 和 k4 有 256000 种可能性。
- 可以使用 prefix_key 迭代 DS。 DS 应针对此操作进行优化。此操作分配一个迭代器,即它迭代整个 DS 并返回与 prefix_key 匹配的键值列表(例如,“k1k2k3.*”,k(i) 定义如上)。每次迭代都在这个迭代器(列表)上进行迭代。释放迭代器会释放列表。
为字符串键提供 DS 会使键比较过于昂贵。因此,DS(Hash,B+Tree)的某些选项被排除在外。
我的问题是我们如何创造性地将字符串键转换为整数键?解决方案需要具有以下属性:
对于键模式“k1k2k3.*”,它应该生成整数的上限和下限,以便基于这些界限在 DS 中仅查找少数条目。
我在solution towards this 的背景下问这个问题
【问题讨论】:
-
B+tree 被排除在外,因为像 add/delete/update/lookup/iterate 这样的操作涉及键比较,在这种情况下是字符串比较。与整数比较相比,字符串比较非常昂贵。哈希因其无序数据集而被排除在外,不适合基于前缀的搜索或基于正则表达式的搜索,除非您可以将事情归结为需要查找的少量键。在这两种情况下,将字符串键转换为整数键都会有所帮助。它开辟了新的可能性。
-
你可以试试Radix tree
-
1) 你能列举出 {k1,k2,k5} 和 {k3,k4} 吗? 2)给定一个密钥,是否总是可以提取 k1..k5 组件?
-
@joop:我没有得到你的第一个问题。其次,是的,总是可以提取组件。例如。考虑如下键值对: (product.module.prod_version, 5.0) (product.module.mod_version, 7.2) (product.module.license, "LICENSE") (product.anotherModule.mod_version, 3.4) (product.anotherModule. license, "LIC2") (product.module.feature1, Enabled) 等等...所以所有的键都是点分隔的。您可以看到 k1= product 只有 1 种可能性。 k2 有 2 个可能性模块和另一个模块。这些键值对仅用于说明这一点。
-
enumerate := 为域中可能出现的每个值分配一个数字,以便您可以通过数字来引用它。 (就像@MrSmith42 的答案一样,将其编码为 3+3+18+18+3 位)
标签: c algorithm data-structures hash