在 MATLAB 中计算文件行数的最快方法（Perl 比 C 快？）

Question

在我的研究中，我必须计算 10+ GB csv 文件中的行数。在 MATLAB 上执行此操作的经典方法似乎是使用 textscan() 和 \n 作为分隔符，但这会占用大量内存并且速度非常慢。有人建议我编写一个 Perl 脚本并使用 str2double(perl('countlines.pl', path)) 调用它，这似乎确实要快得多：

# countlines.pl
while (<>) {};
print $.,"\n";

然后，我想看看在 C 中编写一个 MEX 函数是否有任何优势，但没有运气，更令人惊讶的是，我发现这比 Perl 脚本慢了大约 10 倍（使用Xcode 4.6.3 上的 LLVM 编译器）：

//countlines.c

#include "mex.h"

void countlines(char *filepath, double *numLines)
{
    /* Routine */

    numLines[0] = 0;
    FILE *inputFile = fopen(filepath, "r");
    int ch;

    while (EOF != (ch=getc(inputFile)))
        if ('\n' == ch)
            ++numLines[0];
}

void mexFunction( int nlhs, mxArray *plhs[],
                  int nrhs, const mxArray *prhs[])
{
    /* Gateway function */

    int bufferLength, status;
    char *filepath;                 // Input: File path
    double *numLines;               // Output Number of lines

    bufferLength = (mxGetM(prhs[0]) * mxGetN(prhs[0])) + 1; // Get length of string
    filepath = mxCalloc(bufferLength, sizeof(char)); // Allocate memory for input

    // Copy the string data from prhs[0] into a C string
    status = mxGetString(prhs[0], filepath, bufferLength);
    if (status != 0)
        mexErrMsgIdAndTxt("utils:countlines:insufficientSpace", "Insufficient space, string is truncated.");

    // Create the output matrix and get a pointer to the real data in the output matrix
    plhs[0] = mxCreateDoubleMatrix(1,(mwSize)1,mxREAL);
    numLines = mxGetPr(plhs[0]);

    // Call the C routine
    countlines(filepath, numLines);
}

所以，

1. 除了网关功能之外，MEX 功能中的这些开销来自哪里？
2. 我还能做些什么来加快速度吗？只要我们可以让例程与 MATLAB 交互，我愿意使用任何语言。似乎唯一的其他方法是内存映射文件块并将工作负载拆分到几个内核。

Answer 1

您是否阅读过 Perl 关于这个主题的常见问题解答，其中提供了大约 6 个示例？

perldoc -q 'How do I count the number of lines in a file'

wc 命令已移植到 Windows，因此如果您想安装它，这可能是最好的解决方案。否则，我会在 wc 示例之前使用 Perl 示例（下面已修复和优化）。

    my $lines = 0;
    open my $fh, '<:raw', $filename
        or die "Can't open $filename: $!";
    while( sysread $fh, $buffer, 64*1024 ) {
        $lines += ( $buffer =~ tr|\n||; );
    }
    close $fh;

Answer 2

除了网关功能之外，MEX 功能中的这些开销来自哪里？

1. MEX 函数正在分配内存。
2. 该函数正在将内存转换为字符串。
3. 该函数正在创建一个双精度矩阵。

无法与 Perl 的简单行计数功能相比，因为它们在功能上并不等效。

我还能做些什么来加快速度吗？ 是的，只计算行数。
没有额外的东西，比如读取双打矩阵。

以下是使用 C++ 计算文本文件中行数的示例：

std::ifstream text_file(/*...*/);
std::string   text_from_file;
unsigned int  line_count = 0;
while (std::getline(text_file, '\n'))
{
  ++line_count;
}

在比较性能时，功能必须相同。

编辑 1：
决定。 你在数行吗？

您在计算矩阵中的行数吗？

您想仅计算文件中的行数吗？

如果你想计算矩阵的行数，你需要修改你的 Perl 脚本。

如果您希望 MEX 函数仅计算行数，请删除除对 countlines 函数的调用之外的所有内容。

为什么要使用 double 来计算行数？
您是否期望小数行数？

您要使用 C I/O 还是 C++ I/O？

以块为单位读取数据将加速您的 C I/O 功能：

#define MAX_CHUNK_SIZE 1024*1024
char buffer[MAX_CHUNK_SIZE];
size_t chars_read = 0;
unsigned int line_count = 0;
//...
while (!feof(inputFile))
{
  chars_read = fread(buffer, 1, MAX_CHUNK_SIZE, input_file);
  char c;
  for (unsigned int i = 0; i < chars_read; ++i)
  {
     if (c == '\n')
     {
       ++line_count;
     }
  }
}

访问文件的瓶颈是定位数据的开销。大量读取可减少开销。

Answer 3

在这段代码中计算总行数。但这需要几个小程序。

my $lines = do {
    open my $fh, '<', "filename" or die "Can't open filename: $!";
    1 while (<$fh>);
    $.
};
print "Total number of lines: $lines\n";

Answer 4

要有效地计算行数，只需执行以下操作：

int main()
{
   unsigned long lines = 0;
   int c; /* c must be an int, not char */

   while ((c = getchar()) != EOF) 
      if (c == '\n') 
         lines++;
   printf("%lu\n", lines);
   return 0;
} /* main */

我认为 Kernighan & Ritchie 有一个类似的例子，如果不一样的话。请不要使用double 来计算下一次。使用整数类型进行计数比使用浮点数进行计数要高效得多。