【问题标题】:Working with large local arrays: is there a faster way than malloc?使用大型本地数组:有没有比 malloc 更快的方法?
【发布时间】:2013-12-23 07:36:22
【问题描述】:

我正在使用 C 中的大型数组进行数值计算。

在其中一个函数中,我使用了一些临时的本地(一次性)数组。通常我只会将它们声明为double v[N],然后不必担心必须手动释放内存。

我注意到的问题是,当我的 N 变得非常大(大于 400 万)时,我的程序无法声明变量。因此,我求助于malloc() 和free(),这使我能够成功运行程序。问题是当我使用动态分配(对于较小的 N)时,我的执行时间几乎从 24 秒增加到 40 秒。

我可以修改代码以避免首先创建这些临时数组,但这会影响代码的可读性和编码工作。我目前正在使用预处理器宏来访问像二维矩阵一样的向量。是否有另一种解决方案可以避免 CPU 成本,同时允许我像矩阵一样保存数据?

【问题讨论】:

  • 您可以调用malloc() 一次来分配一个非常大的临时数组,或者调用几次来分配一些临时数组。之后,它应该和静态分配的数组一样快。只要您继续重复使用它们,就不需要free()它们。只需支付一次分配罚款。
  • @JoeZ:我发现无论我是否只调用一次malloc(),(例如,将指向 malloc 内存的指针传递给函数或仅将其初始化为静态指针一次)执行时间仍然增加,使我相信成本是对堆的读取访问而不是分配惩罚。
  • 那么可能还有其他事情在起作用。堆本身并不比堆栈慢。要么你在算法中获得了更好的缓存局部性,要么编译器能够应用一些优化,因为它在非堆版本中做了更好的别名分析。
  • 嗯...我不知道如何让 C 编译器对其进行优化。尝试了 restrict 关键字,但没有任何区别。
  • 嗯...我个人没有想法。没有看到代码(和编译器生成的输出),很难说是什么让代码感到悲观。

标签: c arrays malloc large-data


【解决方案1】:

当您声明一个本地变量时,您正在使用自动分配的变量,这些变量在堆栈上,不幸的是堆栈大小是有限的。使用malloc 意味着变量将在堆上分配,而时间差就是您为该动态分配支付的费用。

我看到了两种可能的解决方案:

  • 使用static 全局数组(并在必要时重用它),以便编译器能够优化对它的访问
  • 更改堆栈大小,这样您的函数本地较大的数组就不会出现问题,这甚至可以动态完成,看看here。

【讨论】:

  • 感谢@Jack,static 解决方案看起来非常简单,应该可以工作,但是由于某种原因,当我用static double* v; static int b=1; if(b==1){b=0; v=malloc(sizeof(double[N]));} 替换double v[N] 时,我得到了相同的执行时间增加。知道出了什么问题吗?
  • (对于选项 2:setrlimit 无法提供我请求的堆栈大小(函数返回错误代码 -1))
  • 你可以直接分配一个static double v[N]块。根本不需要malloc,否则你会遇到同样的问题。
  • 请注意,以这种方式使用静态数组会使您的函数线程不安全。可能无关紧要,但需要提及。
  • @MartinJames: 有没有办法实现线程安全,N 作为函数参数(在编译时未知),可以以与@Jack 的@987654332 相同的成本执行@上面的方法?
猜你喜欢
  • 1970-01-01
  • 2021-01-08
  • 2019-10-17
  • 2014-08-10
  • 2022-01-17
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-07-19
相关资源
最近更新 更多