【发布时间】:2013-12-20 02:33:34
【问题描述】:
我正在寻找高效的 C++(或其他快速)来反转一个巨大的哈希表。
哈希键的数量约为 200,000,000;并且每个哈希键中可能的元素数量约为 100,000。
我想知道什么是(有效地)反转此类表的好方法,这样现在元素就是键,键就是元素。
现在我将硬盘中的数据存储在一个名为 hash_file.txt 的文件中。该文件如下所示:
>1
T1
T3
T4
T100
>2
T4
T77
T9980
etc.
其中,>1,...,>200,000,000 是原始哈希表的所有可能键; 和 T1,...,T100000 是每个键的所有可能元素。 注意:哈希表非常稀疏,每个键不超过几百个元素。
在本例中,输出的倒置哈希表如下所示:
>T1
1
>T3
1
>T100
1
>T4
1
2
>T77
2
>T9980
2
我尝试了一些幼稚的代码,然后用完了内存,所以我正在寻找好的建议。
【问题讨论】:
-
你能展示你尝试的代码吗?
-
@Lie 没有意义,而且令人尴尬的是完全低效,我基本上尝试将所有内容存储到 200,000 x 200,000,000 矩阵中并运行内存。我首先想知道是否有可能及时对如此巨大的哈希表进行这种反转,并就如何做到这一点进行记录,无需提供完整代码
-
这些键是连续的吗?也就是说 - 从 1 到 200,000,000 的每个键是否都有一个或多个与之关联的 Tn 元素,和/或在 1 到 ~100,000 之间的每个 x 都存在 Tx? (如果是这样,您的外部数据结构应该是数组/向量而不是哈希表 - 可能是向量或集合的向量)。
-
@Dnaiel:您可能会惊讶于人们如何发现和解决实施问题,无论如何 - 任何尝试但效率低下都是问题和预期解决方案的另一种形式的文档...... Lie 的要求是合理。
-
@TonyD 谢谢。就像在示例中一样。从 1 到 200,000,000 的每个键都有一个或多个 Tn 元素,通常每个键最多有 100 个左右。