【问题标题】:C++ substring - a pointer to a range of a string (loading a big file)C++ 子字符串 - 指向字符串范围的指针(加载大文件)
【发布时间】:2016-01-05 16:36:37
【问题描述】:

我有一个这样的文件:

  • ACCCTCGGCTACTACGACTAC
  • GCTAGTCAGACTGAGCATGTCAGTC
  • TAGCTAGCTGACTGACTACATCGAC
  • GCTAGATGCTAGCGTATAGTCTGCTGAGTCTGAGT
  • GTCAGTCATGTGACTGACGTATGCTATTA

上面的文件有点大,它有 9000 行,长度为 100-200 个字符。

我需要将这些行的子字符串插入到地图中,范围为 5(整个文件必须在同一个地图中)。

第一行是:ACCCTCGGCTACTACGACTAC 所以我需要加载到地图:

  • ACCCTCGGCTACTACGACTAC 下一个
  • ACCCTCGGCTACTACGACTAC 下一个
  • ACCCTCGGCTACTACGACTAC 下一个
  • ...
  • ACCCTCGGCTACTACGACTAC

在此之后,我们加载第二行,第三行,直到 eof。

所以。我的第一个想法是:

map<string, set<string>> sequences;
int SEQLEN = 74; // cause we load 74 long substrings

while (getline(in, name) && getline(in, chain)) {
    for (int i = 0; i + SEQLEN < chain.size(); i++) {
        string subchain = chain.substr(i, SEQLEN);
        sequences[subchain].insert(name);
    }
}

但在此之后我们有一个地图,它消耗 4.5 GB 的 RAM,这是不可接受的,因为它应该工作的 PC 只有 2 GB 的:C

我听说过某种“指向字符串字符的指针”。如果存在这样的情况,我可以加载所有行并为这些子字符串保存指向“start char”和“end char”的指针,然后通过提供这个“范围”来加载它们。

你怎么看,有没有类似“指向字符串的特定字符的指针”之类的东西?

如果有人有任何想法,我将不胜感激:)

【问题讨论】:

  • 如果你有最先进的编译器,std::experimental::string_view,否则Boost string_ref。
  • 创建一个存储所有行的映射和一个仅存储第一个映射中字符串的(start, end) 索引的第二个映射。
  • @kfx 问题基本上是如何做到这一点。
  • 你的字符串是否真的编码了核碱基,还是它们看起来像巧合?
  • 是的,它是大肠杆菌基因组

标签: c++ string pointers ram


【解决方案1】:

由于您的字符串编码核碱基,并且您担心节省内存,因此最好的方法是完全摆脱字符串。

在您的字母表中有四个核碱基字符,只有 45 或 1024 个可能的长度为 5 的子字符串。您可以通过执行以下操作将每个子字符串编码为 short 整数查找,然后通过反向查找对其进行解码以输出。

这种方法将为您节省大量内存:一个包含 1024 个字符串的数组和一个查找所需的 std::map&lt;std::string,short&gt; 将占用大约 50K 的内存。存储每个单独的 5 个字符的子字符串将花费您两个字节,而不是 32 位系统上的 14 个或 64 位系统上的 22 个。您的整个文件可以存储在不到一兆字节的内存中。

【讨论】:

  • 很务实的回答
  • 是的,这是完美的,但我的子字符串是 74 长,不是 5 :v 我的错,但是 +1 指向这个 :)
  • @Kuba 通过将 74 个字符的字符串压缩到 19 个字节,您仍然可以节省 4 倍的内存。与其每个字节存储一个字符,不如存储四个两位块,并编写一对函数来转换为这种压缩格式。
猜你喜欢
  • 1970-01-01
  • 2011-04-12
  • 1970-01-01
  • 2021-06-28
  • 2013-04-26
  • 1970-01-01
  • 1970-01-01
  • 2013-02-16
相关资源
最近更新 更多