在容器中连续分配常量字符串

Question

假设我有一个 std::vector 或 const std::strings。

std::vector<const std::string> strs;

现在这里的默认行为是实际的字符串容器可以分配在堆上的任何位置，这几乎可以在迭代包含的字符串时禁用任何数据预取。

strs.push_back("Foo"); // allocates char block on heap
strs.push_back("Boo"); // allocates char block on heap

但是，由于字符串是“const”，我希望 char 块被连续分配或彼此靠近（如果可能），以便在遍历字符串时获得最有效的缓存行为。

有没有办法实现这种行为？

Answer 1

您需要一个称为内存区域分配器的自定义分配器。您可以在 Wikipedia 或 Google 上查看更多信息，但基本思想类似于硬件堆栈——分配一个大块，然后简单地增加指针以将其标记为已使用。它可以非常快速地处理许多连续的请求，但不能处理释放和分配——所有释放都是一次性完成的。

Answer 2

如果真的这么简单——推送永远不会改变的字符串，那么编写自己的分配器就很容易了。分配一大块内存，将指针free设置为块内偏移量0。当您需要存储新字符串 strncpy 时，将其存储为 free 并使用 strlen 增加 free。跟踪内存块的末尾，并在需要时分配另一个块。

Answer 3

不是真的。

std::string 不是 POD，它不会将其内容保存在“对象内部”。更重要的是 - 它甚至不需要将其内容存储在单个内存块中。

另外，std::vector（与所有数组一样）需要其内容为一种类型（= 大小相等），因此您不能创建不同长度的字符串的文字“数组”。

你最好的方法是假设一个长度并使用std::vector<std::array<char, N> >

如果您需要真正不同的长度，另一种方法是使用 std::vector<char> 表示数据加上 std::vector<unsigned> 表示连续字符串开始的索引。

---

为字符串滚动你自己的分配器是一个诱人的想法，你可以将它基于std::vector<char>，然后在其上滚动你自己的std::basic_string，然后将它们集合起来。

请注意，您实际上很大程度上依赖于特定的std::string 实现。有些确实有一个 N 字符的内部缓冲区，并且仅在字符串长度大于缓冲区时才在外部分配内存。如果您的实现是这种情况，您仍然不会为整个字符串缓冲区获得连续的内存。

基于此，我得出结论，使用std::string，您通常无法完成您想要的（除非您依赖特定的 STL 实现），您需要提供另一个字符串实现以满足您的需求。

Answer 4

自定义分配器很棒，但为什么不将所有字符串存储在单个std::vector<char> 或std::string 中，并通过偏移量访问原始字符串？

简单有效。

Answer 5

您始终可以编写一个私有分配器（std::vector 的第二个模板参数），它将分配来自连续池的所有字符串。 另外您可以使用std::basic_string 代替std::string（这是std::basic_string 的私有案例），它允许类似地指定您自己的分配器。一般来说，我会说这是“过早优化”的情况，但我相信您已经测量并看到了这里的性能下降......不过，我相信付出的代价会浪费一些内存。

Answer 6

向量保证是连续的内存并且是 可与数组互操作。它不是一个单链表。

“连续性实际上是向量抽象的一部分。它是如此重要，事实上，C++03 标准已被修改为明确添加了保证。”

来源：http://herbsutter.com/2008/04/07/cringe-not-vectors-are-guaranteed-to-be-contiguous/

使用reserve() 强制它是连续的而不是重新分配。

#include <iostream>
#include <vector>
#include <string>
#include <algorithm>
#include <iterator>
using namespace std;

int main()
{
    // create empty vector for strings
    vector<const string> sentence;

    // reserve memory for five elements to avoid reallocation
    sentence.reserve(5);

    // append some elements
    sentence.push_back("Hello,");
    sentence.push_back("how");
    sentence.push_back("are");
    sentence.push_back("you");
    sentence.push_back("?");

    // print elements separated with spaces
    copy (sentence.begin(), sentence.end(),
          ostream_iterator<string>(cout," "));
    cout << endl;

return 0;
}