对齐 malloc 实现的解释

Question

这不是家庭作业，这纯粹是为了我自己的个人教育。

我不知道如何实现对齐的 malloc，所以在网上查找并找到了this website。为了阅读方便，我将代码贴在下面：

#include <stdlib.h>
#include <stdio.h>

void* aligned_malloc(size_t required_bytes, size_t alignment)
{
    void* p1; // original block
    void** p2; // aligned block
    int offset = alignment - 1 + sizeof(void*);
    if ((p1 = (void*)malloc(required_bytes + offset)) == NULL)
    {
       return NULL;
    }
    p2 = (void**)(((size_t)(p1) + offset) & ~(alignment - 1));
    p2[-1] = p1;
    return p2;
}

void aligned_free(void *p)
{
    free(((void**)p)[-1]);
}

void main (int argc, char *argv[])
{
    char **endptr;
    int *p = aligned_malloc (100, strtol(argv[1], endptr, 10));

    printf ("%s: %p\n", argv[1], p);
    aligned_free (p);
}

实现确实有效，但老实说我无法弄清楚它是如何工作的。

这是我无法理解的：

1. 为什么我们需要偏移量？
2. anding 与 ~(alignment - 1) 的作用是什么
3. p2 是一个双指针。为什么我们可以从一个应该只返回一个指针的函数中返回它？
4. 解决此问题的一般方法是什么？

非常感谢任何帮助。

编辑

这不是How to allocate aligned memory only using the standard library? 的重复，因为我还需要知道如何释放对齐的内存。

Answer 1

1. 如果要支持超出系统malloc() 的对齐方式，则需要偏移量。例如，如果您的系统malloc() 对齐到 8 个字节边界，并且您想要对齐到 16 个字节，则您要求额外增加 15 个字节，这样您就可以确定可以移动结果以按要求对齐它。您还可以将sizeof(void*) 添加到传递给malloc() 的大小，以便为簿记留出空间。

2. ~(alignment - 1) 是保证对齐的原因。例如，如果对齐为 16，则减 1 得到 15，即 0xF，然后将其取反得到 0xFF..FF0，这是您需要满足来自malloc() 的任何返回指针的对齐的掩码。请注意，此技巧假定对齐是 2 的幂（实际上通常是这样，但确实应该进行检查）。

3. 这是一个void**。该函数返回void*。这没关系，因为指向 void 的指针是“指向任何类型的指针”，在这种情况下，该类型是 void*。也就是说，void* 与其他指针类型之间的转换是允许的，双指针仍然是指针。

4. 这里的总体方案是将原始指针存储在返回给调用者的指针之前。标准malloc() 的一些实现做同样的事情：在返回块之前存储簿记信息。这样可以很容易地知道调用free() 时要回收多少空间。

话虽如此，这种事情通常没有用，因为标准malloc() 返回系统上最大的对齐方式。如果您需要除此之外的对齐方式，可能还有其他解决方案，包括特定于编译器的属性。

Answer 2

实施确实有效

也许吧，但我不太确定。 IMO 你最好从第一原则开始工作。马上开始，

p1 = (void*)malloc

是一个危险信号。 malloc 返回void。在 C 中，可以从void * 分配任何指针。从malloc 铸造通常被认为是不好的形式，因为它所产生的任何影响都只能是坏的。

为什么我们需要一个偏移量

偏移量为存储malloc 返回的指针提供了空间，稍后由free 使用。

p1 是从 malloc 检索的。稍后，它必须提供给free 才能发布。 aligned_malloc 在p1 保留sizeof(void*) 字节，将p1 隐藏在那里，并返回p2（p1 指向的块中的第一个“对齐”地址）。稍后，当调用者将p2 传递给aligned_free 时，它实际上将p2 转换为void *p2[]，并使用-1 作为索引获取原始p1。

anding 和 ~(alignment - 1) 完成了什么

这就是将p2 放在边界上的原因。说对齐是16； alignment -1 是 15, 0xF。 ~OxF 是除了最后 4 位之外的所有位。对于任何指针 P，P & ~0xF 将是 16 的倍数。

p2 是一个双指针。

指针schmointer。 malloc 返回void*。这是一块内存；您可以随意解决。你不会眨眼

char **args = calloc(7, sizeof(char*));

分配一个由 7 个 char * 指针组成的数组，你会吗？代码从p1 中选择至少sizeof(void*) 字节的一些“对齐”位置，并且出于free 的目的，将其视为void **。

一般做法是什么

没有一个答案。最好的可能是使用标准（或流行）库。如果您在malloc 上构建，分配足够的空间以保留“真实”指针并返回对齐的指针是非常标准的，尽管我会以不同的方式编码。系统调用mmap 返回一个页面对齐指针，它将满足“对齐”的大多数标准。根据需要，这可能比搭载malloc 更好或更差。

Answer 3

假设我们需要 SZ 字节的对齐内存，让：

A is the alignment.
W is the CPU word size.
P is the memory returned by malloc.
SZ is the requested number of bytes to be allocated.

我们将返回 (P + Y) 其中 (P + Y) mod A = 0

所以，我们应该保存原始指针P，以便以后能够释放内存。 在这种情况下，我们应该分配 (SZ + W) 个字节，但是为了让内存对齐，我们将子结构 Z 个字节 其中 (P % A = Z ) => (Z ∈ [0, A-1])

So the total memory to be allocated is:  SZ + W + MAX(Z) = SZ + W + A - 1

要返回的指针是P + Y = P + W + MAX(Z) - (P + W + MAX(Z)) mod A

我们有：X - X mod A = INT(X / A) * A = X & ~(A - 1)

所以我们可以将 P + W + MAX(Z) - (P + W + MAX(Z)) mod A 替换为 (P + W + MAX(Z)) & ~(A - 1)

The memory to be returned is: (P + W + MAX(Z)) & ~(A - 1) = (P + W + A - 1) & ~(A - 1)

Answer 4

我对这段代码有一些问题。我已将它们编译到以下列表中：

1. p1 = (void*)malloc你没有强制转换malloc的返回值。
2. free(((void**)p)[-1]);你不投免费。
3. if ((p1 = (void*)malloc(required_bytes + offset)) == NULL) 不要在 if 语句的比较中放置赋值。我知道很多人都这样做，但在我看来，这只是一种糟糕的形式，并且会使代码更难阅读。

他们在这里所做的是将原始指针存储在分配的块中。这意味着只有对齐的指针才会返回给用户。 malloc 返回的实际指针，用户永远不会看到。不过，您必须保留该指针，因为 free 需要它从分配的列表中取消链接块并将其放在空闲列表中。在每个内存块的开头，malloc 将一些内务信息放在那里。诸如 next/prev 指针、大小、分配状态等之类的东西......一些 malloc 的调试版本使用警戒词来检查是否有东西溢出缓冲区。传递给例程的对齐方式必须是 2 的幂。

当我编写自己的 malloc 版本用于池化内存分配器时，我使用的最小块大小为 8 字节。因此，包括 32 位系统的标头在内，总共有 28 个字节（标头为 20 个字节）。在 64 位系统上，它是 40 字节（标题为 32 字节）。当数据与某个地址值（现代计算机系统上的 4 或 8 字节）对齐时，大多数系统的性能都会提高。这样做的原因是因为如果对齐，机器可以在一个总线周期内抓取整个字。如果不是，那么它需要两个总线周期来获取整个单词，然后它必须构造它。这就是编译器在 4 或 8 个字节上对齐变量的原因。这意味着地址总线的最后 2 或 3 位为零。

我知道有一些硬件限制需要比默认的 4 或 8 更多的对齐。如果我没记错的话，Nvidia 的 CUDA 系统需要对齐到 256 字节的东西......这是硬件要求。

这已经被问过了。见：How to allocate aligned memory only using the standard library?

希望这会有所帮助。