将记录存储在字节数组中与使用结构数组答案

【问题标题】：Storing records in a byte array vs using an array of structs将记录存储在字节数组中与使用结构数组
【发布时间】：2014-09-05 21:05:16
【问题描述】：

我有 2 亿条记录，其中一些具有可变大小的字段（字符串、可变长度数组等）。我需要对它们执行一些过滤器、聚合等（面向分析的查询）。

我只想将它们全部放在内存中（足以放入一个大盒子），然后对它们进行线性扫描。我可以采用两种方法，我想听听您对哪种方法更好的意见，以最大限度地提高速度：

您会推荐哪种方法？

更新：使用 C。

【问题讨论】：

【解决方案1】：

不幸的答案是，“这取决于你没有提供的细节”，虽然这是真的，但并不是特别有用。解决此类问题的一般建议是从最简单/最明显的设计开始，然后根据需要对其进行分析和优化。如果它真的很重要，您可以使用您的确切数据和用例对一些设计进行一些非常基本的基准测试，以更准确地了解您应该采取的方向。

总体上看一些具体的设计及其一般的优点/缺点：

一个大缓冲区

 char* pBuffer = malloc(200000000);

静态结构

 typedef struct {
     char  Data1[32];
     int   Data2[10];
 } myStruct;

 myStruct *pData = malloc(sizeof(myStruct)*200000000);

动态结构

 typedef struct {
     char* pData1;
     int*  pData2;
 } myStruct2;

 myStruct2 *pData = malloc(sizeof(myStruct2)*200000000);

有 2 亿条记录，这将需要大量动态内存分配，这很可能会对速度产生重大影响。
如果您的动态数组具有广泛的大小范围，则可能会提高内存效率（尽管请参阅下一点）。
注意指针大小的开销。在 32 位系统上，这个结构需要 8 个字节（忽略填充）来存储指针，仅 1.6 GB 就可以存储 2 亿条记录！如果您的动态数组通常很小（或为空），您可能会在开销上花费比实际数据更多的内存。
对于数据的线性扫描，这种类型的结构可能会表现不佳，因为您以非线性方式访问内存，而预取器无法预测。

流式传输

哪些是“最好的”实际上取决于您的具体情况......我可以想到每种情况都是首选方法。

【讨论】：

【解决方案2】：

您确实可以使用结构，但您必须非常小心对齐和别名，并且当存在可变长度部分时，所有这些都需要修补。特别是，您可以不使用此类结构的数组，因为数组中的所有条目都必须是恒定大小。

我建议使用平面阵列方法。然后添加健康剂量的抽象；你不希望你的“业务逻辑”做一些小事。

更好的是，如果您需要对整个数据集进行一次线性扫描，那么您应该将其视为数据流，并将记录反序列化（复制）到适当的本机结构中，一次一个。

【讨论】：

【解决方案3】：

“你会推荐哪种方法？”其实也没有。有了这么多数据，我的建议就像你的结构的链接列表。但是，如果您 100% 确定能够为所有数据分配所需的内存量（通过 1 个 malloc 调用），那么请使用结构数组。

【讨论】：