【问题标题】:Force cleanup of temporary variables强制清理临时变量
【发布时间】:2018-03-10 16:32:24
【问题描述】:

(如果这个问题是重复的,请原谅,我是初学者,不知道要搜索什么词才能找到答案!)

我正在尝试为 C++ 编写一个带有一些非常基本的内存管理的线性代数库——本质上是使用 shared_ptrs;一旦 ptr 计数达到 0,它将内存返回给管理器。 我正在处理的数组非常大,而且内存非常宝贵,所以我试图强制代码尽快触发清理冗余内存变量。

考虑:

a,b,c,d,e 不是临时变量,每个约 5GB。

z = a+b+c+d+e

或者

z = add(a,add(b,add(c,add(d,e)))) - 这是我目前实际编码的方式,没有运算符重载。

我发现临时变量(每个操作一个)只有在相等操作完成后才超出范围,因此 shared_ptr 仍然认为内存正在使用中。因此,暂存空间的清理会同时发生,理论上保存 'd+e' 的单个内存块可以在存储 'c+d+e' 后被丢弃,依此类推。

显然,这会导致内存使用量大幅膨胀,因为使用的暂存空间不是 5GB,而是占用了 20GB。

要解决这个问题,我必须执行以下操作

z = d+e

z = c+z

z = b+z

z = a+z

这允许之前的临时变量在每个新行中超出范围,但它会在我的代码的几个部分中导致一些非常讨厌的膨胀。

有没有办法强制代码在行尾之前将临时内存返回给管理器?我在想我可以对共享指针做些什么,或者通过引用而不是值传递,但我不能完全确定它。

澄清一下,我在寻找什么:

为(d+e)分配内存,进行计算

为(c+d+e)分配内存,进行计算,释放(d+e)

为(b+c+d+e)分配内存,进行计算,释放(c+d+e)

为(a+b+c+d+e)分配内存,进行计算,释放(b+c+d+e)

将 (a+b+c+d+e) 指针赋值给 z

#include <iostream>

class Foo {
public:
    int fooid;
    Foo(int fi) {
        fooid = fi;
        std::cout << "Creating array " << fooid << std::endl;
    }
    ~Foo() {
        std::cout << "Cleanup array " << fooid << std::endl;
    }
};

Foo mult(const Foo &a, const Foo &b)
{
    //std::cout << "Constructing new foo" << std::endl;
    Foo out(a.fooid*b.fooid);
    return out;
}


int main()
{
    Foo twos(2); //placeholders for huge non-temporary arrays
    Foo threes(3);
    Foo fives(5);
    Foo sevens(7);
    Foo elevens(11);
    std::cout <<"Method 1" << std::endl;
    Foo vx = mult(mult(mult(mult(twos,threes), fives),sevens),elevens);
    //std::cout << vx.fooid << std::endl;
    //system("pause");

    std::cout << std::endl <<"Method 2" << std::endl;
    //Alternative, over 3 lines, forces destructors earlier than above, more scratch space for the later operations
    //Note array 30 is deleted before array 210 is constructed, unlike Method 1
    Foo vx1 = mult(twos, threes);
    vx1 = mult(vx1, fives);
    vx1 = mult(vx1, sevens);
    vx1 = mult(vx1, elevens);

    std::cout << std::endl <<"End" << std::endl;
    return 0;
}

输出如下:

Creating array 2
Creating array 3
Creating array 5
Creating array 7
Creating array 11
Method 1
Creating array 6
Creating array 30
Creating array 210
Creating array 2310
Cleanup array 210
Cleanup array 30
Cleanup array 6

Method 2
Creating array 6
Creating array 30
Cleanup array 30
Creating array 210
Cleanup array 210
Creating array 2310
Cleanup array 2310

End
Cleanup array 2310
Cleanup array 2310
Cleanup array 11
Cleanup array 7
Cleanup array 5
Cleanup array 3
Cleanup array 2

上述方法之间的主要区别在于,方法 2 能够在执行下一步计算之前释放旧的临时变量,而第一种方法在计算完全完成之前保留其所有内存。我希望找到一种方法,让我可以得到方法 2 的结果,同时按照方法 1 进行更多编码。

对频繁的编辑感到抱歉。想把它做好。

【问题讨论】:

  • 变量在范围结束时超出范围(并被销毁)-除非d 实际上构造了一个匿名临时变量(换句话说,此代码),否则您的“解决方法”将无法实现这一点太假了,无法证明您实际遇到的问题)
  • 对不起。考虑 a,b,c,d,e 不是临时的,我的意思是 (d+e), (c+d+e), (b+c+d+e), (a+b+c+ d+e) 都在内存中分配,直到赋值运算符,然后它们都被一次性释放..
  • 请创建一个实际的minimal reproducible example,对我来说这个问题太抽象了,无法告诉您何时期望变量超出范围并被销毁
  • 常用矩阵库(如 eigen 和 opencv)在添加或乘以在分配给矩阵之前不计算的矩阵时创建“表达式”类型。也许你可以使用类似的方法。
  • 感谢您的建议,我的第一篇文章。我会用更具体的例子回复你

标签: c++ memory temporary-objects


【解决方案1】:

从 C++11 开始(至少部分由之前的优秀编译器实现),简单的答案是通过 value 接受您的参数。这似乎违反直觉,因为这听起来像是更多的副本,但实际上现有数据的所有权是通过移动构造函数(和/或编译器魔法)转移到函数中的。

然后你更新你收到的“副本”就地并返回它,它很可能将它的资源转移到另一个函数调用以被重用/更新再次。在完整表达式的末尾,将运行几个析构函数(C++17 可能在每个函数返回时运行它们,因为“强制copy elision”),但大多数将用于移动对象其资源已被重用和/或释放。

当然,每个具有相同大小参数的函数最多需要 一个 来存储其结果;由于大多数运算符都是左关联的,因此按值参数的明显选择是第一个。您可以定义变体,例如,使用按值传递的第二个操作数进行减法以捕获 z=a-(b*c) 之类的情况。

【讨论】:

  • 谢谢!为了使其工作,我是否需要明确定义 A& operator=(A&& other) 和 A& operator=(const A& other) 以及这两种类型的构造函数?
  • 希望澄清:使用按值传递的方法,代码如何适应传递的左值?我是否需要为左值实现一个深拷贝构造函数或赋值运算符才能与这种方法结合使用?
  • @SRB121:如果传递了一个左值,你确实会复制它——但无论如何你都需要为返回值分配一个更多单位的空间,所以如果你重用它也没问题。是的,您确实需要一个适当的(“深度”)复制构造函数来处理它,并且移动赋值也会有所帮助。如果您的类具有句柄语义,您可能能够检测到 1 的引用计数并以这种方式重用资源。 (您仍然希望移动构造使这些引用计数为 1。)
【解决方案2】:

我正在尝试编写一个线性代数库,其中包含一些非常 c++ 的基本内存管理 - 主要使用 shared_ptrs; 一旦 ptr 计数达到 0,它将内存返回给管理器。

...

a,b,c,d,e 不是临时变量,每个约 5GB。

如果您创建 a linear algebra library 来练习您的编程技能,那就太好了。
但是你写过关于variables, ~5GB each!这意味着你正在解决一些严重的问题。如果我是你,我会使用现成的库 gmp 例如。原因很简单。这个库被许多聪明人用了数千个小时来制作和优化。这样,您将从“方程式”中删除一个问题。

这个非常大的矩阵建议您应该阅读的另一件事是sparse matrix。这可能会使您的数据更加紧凑并加快计算速度。

当您使用库时,清理已使用变量的内存将很简单(调用某些函数,例如 clean)。所以你的问题不会有问题。

我怀疑您的问题是XY problem,请考虑提供更多不太笼统的信息

【讨论】:

    猜你喜欢
    • 2021-02-23
    • 2011-04-07
    • 2016-12-04
    • 1970-01-01
    • 2016-02-27
    • 1970-01-01
    • 2013-04-14
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多