【问题标题】:Invert Large Hash Table in Cpp or other fast language在 Cpp 或其他快速语言中反转大哈希表
【发布时间】:2013-12-20 02:33:34
【问题描述】:

我正在寻找高效的 C++(或其他快速)来反转一个巨大的哈希表。

哈希键的数量约为 200,000,000;并且每个哈希键中可能的元素数量约为 100,000。

我想知道什么是(有效地)反转此类表的好方法,这样现在元素就是键,键就是元素。

现在我将硬盘中的数据存储在一个名为 hash_file.txt 的文件中。该文件如下所示:

>1
T1
T3
T4
T100
>2
T4
T77
T9980
etc.

其中,>1,...,>200,000,000 是原始哈希表的所有可能键; 和 T1,...,T100000 是每个键的所有可能元素。 注意:哈希表非常稀疏,每个键不超过几百个元素。

在本例中,输出的倒置哈希表如下所示:

>T1
1
>T3
1
>T100
1
>T4
1
2
>T77
2
>T9980
2

我尝试了一些幼稚的代码,然后用完了内存,所以我正在寻找好的建议。

【问题讨论】:

  • 你能展示你尝试的代码吗?
  • @Lie 没有意义,而且令人尴尬的是完全低效,我基本上尝试将所有内容存储到 200,000 x 200,000,000 矩阵中并运行内存。我首先想知道是否有可能及时对如此巨大的哈希表进行这种反转,并就如何做到这一点进行记录,无需提供完整代码
  • 这些键是连续的吗?也就是说 - 从 1 到 200,000,000 的每个键是否都有一个或多个与之关联的 Tn 元素,和/或在 1 到 ~100,000 之间的每个 x 都存在 Tx? (如果是这样,您的外部数据结构应该是数组/向量而不是哈希表 - 可能是向量或集合的向量)。
  • @Dnaiel:您可能会惊讶于人们如何发现和解决实施问题,无论如何 - 任何尝试但效率低下都是问题和预期解决方案的另一种形式的文档...... Lie 的要求是合理。
  • @TonyD 谢谢。就像在示例中一样。从 1 到 200,000,000 的每个键都有一个或多个 Tn 元素,通常每个键最多有 100 个左右。

标签: c++ hashmap


【解决方案1】:

这是一个非常简单的方法;值得一试(记得在启用优化的情况下构建,但最好不要禁用断言;-))。

#include <iostream>
#include <vector>
#include <cassert>

int main()
{
    char c;
    int n;
    int key = -1;
    const int max_t = 100000;
    std::vector<std::vector<int>> v(max_t + 1);
    while (std::cin >> c >> n)
        if (c == '>')
            key = n;
        else
        {
            assert(c == 'T');
            assert(key != -1);
            assert(0 <= n && n < v.size());
            v[n].push_back(key);
        }
    assert(std::cin.eof());
    for (int i = 0; i < v.size(); ++i)
    {
        if (v[i].empty()) continue;
        std::cout << ">T" << i << '\n';
        for (int j = 0; j < v[i].size(); ++j)
             std::cout << v[i][j] << '\n';
    }
}

(输出顺序是数字而不是像你的问题中的字典顺序......如果你关心你可以寻找/编写一个算法来迭代“i”,以反映字典顺序)

【讨论】:

  • 非常感谢。仍然在想我需要的最后一件事,但这对我有很大帮助
  • @Dnaiel:抱歉——你把我弄丢了——“我最不需要的东西”是什么意思?我没有注意到问题中的另一个要求....
  • @Dnaiel 出于好奇 - 你能告诉我大概运行了多长时间吗?
【解决方案2】:

虽然您的问题是围绕使用内存中的哈希来反转这些项目的关系,但根据 cmets,您真正想要做的只是获得输出,而方法并不重要。

由于您正在处理的数据量很大,因此无论您选择何种数据结构,将其全部加载到内存中都可能不切实际。所以你需要一些方法,一次只将一部分数据包含到内存中。

我倾向于使用数据库来完成这样的任务。创建一个包含两列的表 - 现有的“键”列和“T”值列。在值列上放置一个索引。然后运行一个查询,它会为您提供所需的输出。

这是我用 Postgresql 敲出的一个例子:

create table bigmap (
  key integer,
  value text
);

create index on bigmap(value);

insert into bigmap(key,value) values (1, 'T1');
insert into bigmap(key,value) values (1, 'T3');
insert into bigmap(key,value) values (1, 'T4');
insert into bigmap(key,value) values (1, 'T100');
insert into bigmap(key,value) values (2, 'T4');
insert into bigmap(key,value) values (2, 'T77');
insert into bigmap(key,value) values (2, 'T9980');

select value,key from bigmap order by value,key;

 value | key
-------+-----
 T1    |   1
 T100  |   1
 T3    |   1
 T4    |   1
 T4    |   2
 T77   |   2
 T9980 |   2
(7 rows)

从您的输入文件填充数据库应该是相对简单的。您可以用 C++ 编写一个程序来执行此操作,但根据您想要执行的频率,您可能最好使用例如。 perl

使用数据库的优势在于,它们已经具有对此类数据进行排序和索引的高效例程,并且还具有内置处理功能,可在可用内存量不足时使用临时文件准备大型查询结果。

此外,如果您想查找特定 T 值的所有键,这很容易:

select value,key from bigmap where value='T100';
 value | key
-------+-----
 T100  |   1
(1 row)

【讨论】:

  • 非常感谢,这看起来像我要找的。我会试一试,然后告诉你。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2014-08-18
  • 2016-03-29
  • 1970-01-01
  • 2011-07-01
  • 1970-01-01
  • 1970-01-01
  • 2010-10-04
相关资源
最近更新 更多