超大 3D 阵列的内存管理

Question

我需要制作一个非常大的 3D 数组。大，我的意思是6000x1000x1000。每个元素都包含一个包含 3 个双精度的结构。该数组表示一个物理向量场，每个数组元素都包含向量值。

我需要动态声明数组，并且已经阅读了两种方法：使用向量类或使用指针。两个例子如下所示：

#include<iostream>
using namespace std;

struct myVector {
    double Bx;
    double By;
    double Bz;
};

#define HEIGHT 10
#define WIDTH 10
#define DEPTH 50
//these are your sizes

void fill(myVector ***p3DArray);
void print(myVector ***const p3DArray);

int main() {
   myVector ***p3DArray; //any name you want

  // Allocate memory
  // Replace "Struct" with the name of your struct
  p3DArray = new myVector**[HEIGHT];
  for (int i = 0; i < HEIGHT; ++i) {
    p3DArray[i] = new myVector*[WIDTH];

    for (int j = 0; j < WIDTH; ++j)
      p3DArray[i][j] = new myVector[DEPTH];
  }

  // Assign values
  p3DArray[0][0][0].Bx = 3.6;
  p3DArray[1][2][4].Bz = 4.0;

  fill(p3DArray);
  //print(p3DArray);

  // De-Allocate memory to prevent memory leak
  for (int i = 0; i < HEIGHT; ++i) {
    for (int j = 0; j < WIDTH; ++j)
      delete [] p3DArray[i][j];

    delete [] p3DArray[i];
  }
  delete [] p3DArray;

  return 0;
}

和

#include <vector>
#include <iostream>
using namespace std;


struct myVector {
    double Bx;
    double By;
    double Bz;
};

#define HEIGHT 1000
#define WIDTH 1000
#define DEPTH 500

void fill(vector<vector<vector<myVector>>> &Array);
void print(vector<vector<vector<myVector>>> &Array);

int main() {
  vector<vector<vector<myVector> > > array3D;

  // Set up sizes. (HEIGHT x WIDTH)
  array3D.resize(HEIGHT);
  for (int i = 0; i < HEIGHT; ++i) {
    array3D[i].resize(WIDTH);

    for (int j = 0; j < WIDTH; ++j)
      array3D[i][j].resize(DEPTH);
  }

  // Put some values in
  array3D[1][2][5].Bx = 6.0;
  array3D[3][1][4].By = 5.5;

  fill(array3D);

  return 0;
}

对于 1000x1000x500 的尺寸，我的计算机内存不足并死机。我需要比这更大。使用 sizeof()，我发现单个元素占用 24 个字节。对于 1000x1000x500 元素，即 12 Gb。我正在使用 Microsoft Visual c++ 2010、64 位调试器和操作系统，并且有 8 Gb 的 RAM。

我只是没有足够的 RAM，还是有更好的方法来做到这一点？

谢谢

Answer 1

要达到 6000x1000x1000 的目标，您无法一次将所有数据存储在 RAM 中。对于这么多元素，每个元素 24 字节，你说的是大约 134 GB 的数据。

您可能想要做的是设计自己的类，该类从磁盘检索元素，而不是将所有内容分配到单个连续的内存块中。

Answer 2

编写一个对客户端隐藏存储实现的类（我们称之为“3dArray”）。在该类中，您不应存储 3D 数组的全部内容。 仅存储明确写入的值。在您的示例中，您只设置了两个数据点，那么为什么不只存储这两个数据点（以任何方式）？为此，请摆脱需要具有 HEIGHT x WIDTH x DEPTH 元素的向量或数组的想法。相反，使用类似的东西：

std::map<Coord, myVector> written_points;

...

void 3dArray::SetPoint(int x, int y, int z, myVector const &value)
{
    written_points[Coord(x, y, z)] = value; 
}

此外，在返回操作结果时，返回延迟实际计算的代理对象。

例如，假设你的类应该支持乘法：

3dArray a1;
3dArray a2;
3dArray a3 = multiply(a1, a2);
std::cout << a3.GetPoint(10, 20, 30);

乘法的结果在这里几乎完全被丢弃 - 只需要整个巨大结果的一个数据点。为什么要乘以整个事物？如果您觉得这个想法很有趣，请查看 Scott Meyers 的 More Effective C++ 书中的第 17 条：“考虑使用惰性求值”。

最后，请记住，任何此类优化技术的有效性取决于数据在您的应用程序中的使用方式。