从文件中读取大型数组时出现分段错误。 C++/GCC

Question

在下面的代码中，我试图找到 fileA 中第二列具有相同值的行的频率。 （每行有两列，都是整数。）fileA的样本：

1   22
8   3
9   3

我必须像这样在 fileB 中写入输出：

22   1
3    2

因为元素 22 在第二列中重复了一次（并且 3 重复了 2 次。）

fileA 非常大（30G）。其中有 41,000,000 个元素（换句话说，fileB 有 41,000,000 行）。这是我写的代码：

void function(){

unsigned long int size = 41000000;
int* inDeg = new int[size];

for(int i=0 ; i<size; i++)
{
    inDeg[i] = 0;
}


ifstream input;
input.open("/home/fileA");

ofstream output;
output.open("/home/fileB");

int a,b;
    
while(!input.eof())
{
   input>>a>>b; 
   inDeg[b]++; //<------getting error here.
}
input.close();


for(int i=0 ; i<size; i++)
{
    output<<i<<"\t"<<inDeg[i]<<endl;
}

output.close();
delete[] inDeg;

}

我在 while 循环的第二行遇到分段错误错误。第 547387 次迭代。我已经根据this给栈内存分配了600M。我正在使用 gcc 4.8.2（在 Mint17 x86_64 上）。

---

已解决

我彻底分析了fileA。 hyde 提到的问题的原因与硬件无关。 Segfault 原因是索引错误。将大小更改为 61,500,000 解决了我的问题。

Answer 1

在声明中：

while(!input.eof())
{
   input>>a>>b; 
   inDeg[b]++;
}

b 是数组的索引吗？

当您读取值时：
1 22 您将丢弃 1 并增加数组中插槽 22 处的值。

在增加inDeg[b] 的值之前，您应该检查b 的范围：

  while (input >> a >> b)
  {
    if ((b >= 0) && (b < size))
    {
      int c = inDeg[b];
      ++c;
      inDeg[b] = c;
    }
    else
    {
      std::cerr << "Index out of range: " << b << "\n";
    }
  }

Answer 2

您在堆中分配了一个太大的数组。这是一个内存问题，你的堆不能占用那么多空间。

您应该将输入和输出分成更小的部分，因此例如创建一个 for 循环，每次 100k 执行一次，删除它们，然后执行下一个 100k。

在这种情况下尝试异常处理，这是一个示例 sn-p 如何管理对太大数组的异常检查：

  int ii;

   double *ptr[5000000];



   try

   {

      for( ii=0; ii < 5000000; ii++)

      {

         ptr[ii] = new double[5000000];

      }

   }

   catch ( bad_alloc &memmoryAllocationException )

   {

      cout << "Error on loop number: " << ii << endl;

      cout << "Memory allocation exception occurred: "

           << memmoryAllocationException.what()

           << endl;

   }

   catch(...)

   }

      cout << "Unrecognized exception" << endl;

   {