【问题标题】:How to get the size of the memory allocated dynamically?如何获取动态分配的内存大小?
【发布时间】:2015-04-28 10:27:15
【问题描述】:

使用 malloc 动态分配内存将返回分配内存的地址。在存储该地址元数据之前;这是一个结构。

struct malloc_chunk {  
    int      prev_size;
    int      size;           // size of memory allocated
    struct malloc_chunk* fd;
    struct malloc_chunk* bk;
    struct malloc_chunk* fd_nextsize;
    struct malloc_chunk* bk_nextsize;
};

我想在不使用 malloc_usable_size() 的情况下打印大小值。我试过了,但我遇到了段错误。我正在开发 64 位 Ubuntu。

【问题讨论】:

  • 你知道大小。你告诉malloc()。
  • “我试过了”,很好,但是什么?
  • 请出示一些代码。
  • @Havenard:是的,我知道大小,但我想从元数据中获取它。
  • @Rafal,事情没那么简单。如果您将 36 减去 ptr 并且 ptr 是一个指向整数的指针(从指针取消引用和 printf 中使用的值假定),您将获得一个远低于结构开头的地址。您需要将指针转换为(struct malloc_chunk *),然后减去1,然后取消引用指针,如((struct malloc_chunk *)p - 1)->size。这样,您将获得指向正确定位的 struct malloc_chunk 结构的指针。

标签: c linux data-structures malloc dynamic-memory-allocation


【解决方案1】:

结构依赖于实现。您根本不应该使用这些信息,因为它可能会在下一个编译器甚至下一个编译器版本中发生变化。

您应该管理用户定义结构中的内存大小。

编辑: 内存分配算法通常使用一些对齐来实现

  • 在进一步的分配中避免未对齐的地址
  • 在允许未对齐访问但可能导致性能下降的架构上提供最佳性能
  • 使用基数倍数的块来减少堆碎片,例如16 字节。

因此malloc 不需要精确分配您作为参数传递的大小。它可以分配一个足以容纳请求的大小但可能更多的块。 malloc不需要存储原始值,只需要free块的块大小。

因此可能无法检索到malloc 函数调用中传递的大小参数。

【讨论】:

  • 是的,确实结构依赖于实现,它可能会或可能不会在下一个版本中更改。但是到目前为止,如果我没记错的话,使用的结构就是我上面提到的那个,那么我们可以从那里打印它吗??
  • 与其说是编译器不如说是库——malloc() 等都是库函数,不是由编译器直接实现的。
【解决方案2】:

在一般情况下,malloc 用于存储大小的确切机制——如果它甚至有机制——将由实现定义。如果您需要任何特定的大小,您需要自己跟踪大小。

【讨论】:

    【解决方案3】:

    考虑以下测试代码(没有错误检查):

    #include <stddef.h>
    #include <stdio.h>
    #include <stdlib.h>
    
    int main(void)
    {
        void *v1 = malloc(160);
        void *v2 = malloc(160);
        void *v3 = malloc(160);
    
        printf("v1 = %p\n", v1);
        printf("v2 = %p\n", v2);
        printf("v3 = %p\n", v3);
    
        ptrdiff_t d1 = v2 - v1;
        ptrdiff_t d2 = v3 - v2;
    
        printf("d1 = %td\n", d1);
        printf("d2 = %td\n", d2);
        return 0;
    }
    

    在 64 位 Ubuntu 14.04 LTS 上编译时,我得到的输出是:

    v1 = 0x742010
    v2 = 0x7420c0
    v3 = 0x742170
    d1 = 176
    d2 = 176
    

    由于返回块之间的间隙为 176 字节,分配的大小为 160 字节,因此只有 16 字节的开销。问题中概述的struct malloc_chunk 在 64 位平台上占用 40 个字节(在 32 位平台上占用 24 个字节)。它不适合分配的内存块之间的空间。

    因此,任何从分配的常规内存块访问struct malloc_chunk 的尝试都注定要失败。

    您必须获得malloc() 的源代码才能了解它如何使用该结构。如果我不得不猜测,它会完全在一个单独的区域使用它。也许 16 字节的开销中的一些会告诉malloc() 在哪里可以找到struct malloc_chunk。但这是一个猜测;我没看过。

    【讨论】:

      【解决方案4】:

      首先,malloc_usable_size 是 Linux/Unix 特定的功能,例如在 Windows 上不起作用。

      因此,最好的方法是在分配内存时节省大小:只需记住分配了多少内存,然后使用该值。

      【讨论】:

      • 我忘了说我使用的是 ubuntu 64 位。
      【解决方案5】:

      Malloc 库通常会在内部维护一个 struct malloc_chunk 列表,以管理到目前为止分配给用户的内存量。通常,为了解决这个问题,他们有办法将返回的指针从 ma​​lloc(3) 映射到该结构的地址(以便 free(3) 可以得到它),但您不确定该映射。

      通常,它们在内部分配数量来存储它们给你的内存和这个struct malloc_chunk 一起,并且结构以某种方式对齐,以便它们可以从你传递给free(3) 的指针中获取结构地址。

      解决这个问题的正常方法是:ma​​lloc(3) 函数为您提供(void *)(ref + 1),其中ref 是struct malloc_chunk * 指针(因此它与this 的末尾对齐结构)并且您必须做相反的事情才能获得指向该结构的有效指针,即:((struct malloc_chunk *)ptr - 1)(将指针转换为 struct malloc_chunk * 指针,然后返回一个结构大小指向那里)

      这个表达式是指向struct malloc_chunk的类型指针,所以你可以用下面的代码引用它的字段:

      void *p = malloc(120);
      struct malloc_chunk *mc = (struct malloc_chunk *)p - 1;
      
      printf("prev_size:   %d\n"
             "size:        %d\n"
             "fb:          %p\n"
             "bk:          %p\n"
             "fw_nextsize: %p\n"
             "bk_nextsize: %p\n",
             mc->prev_size,
             mc->size,
             mc->fb,
             mc->bk,
             mc->fw_nextsize,
             mc->bk_nextsize);
      

      我无法测试这段代码,因为我的&lt;malloc.h&gt; 实现没有在任何地方定义这个struct malloc_chunk 类型(或者我找不到它)。如果您希望我能够重现您的环境,您必须提供您在哪里获得此类型的参考。我正在使用gcc version 4.6.3 (Ubuntu/Linaro 4.6.3-1ubuntu5)

      【讨论】:

      • 我正在使用库 glibc-2.20,在这个 malloc/malloc.c 中我找到了 struct malloc_chunk
      • @Rafal,您将如何在源文件中获取该结构?你认为包括整个文件malloc.c ???在malloc/malloc.c 中意味着它是一个私有结构。即使在 malloc 库的次要版本更新之间它也会发生变化,因为它不会在任何地方导出。它仅供 malloc 私人使用,作者保留随时更改它的权利。我们接下来要做什么?当然,如果您有 malloc(3) 的源代码,您可以了解 malloc 如何从内部指针转换为外部指针并执行相反的操作。
      • 是的,我已经在分析 malloc 是如何实现的,感谢您的支持。你知道我可以获得 malloc 文档的任何链接吗?
      • 由于 Aho 等人,有几种内存分配算法。但是这里没有参考资料。对不起。谷歌与 Aho 和 malloc。也许你会找到一些东西。
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2013-09-05
      • 2016-05-14
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-09-20
      相关资源
      最近更新 更多