在 C 中更快地读取文件

Question

嗯，我想知道是否有一种比使用 fscanf() 更快地读取文件的方法

例如假设我有这个文本

4

55 k

52 o

24 l

523 i

首先我想读取第一个数字，它为我们提供了以下行数。

让这个数字被称为 N。

在 N 之后，我想读取 N 行，其中包含一个整数和一个字符。 使用fscanf 会是这样的

fscanf(fin,"%d %c",&a,&c);

Answer 1

您几乎不进行任何处理，因此瓶颈可能是文件系统吞吐量。但是，如果确实如此，您应该先进行测量。如果您不想使用分析器，您可以只测量应用程序的运行时间。输入文件的大小除以运行时间可用于检查您是否已达到文件系统吞吐量限制。

如果您远离上述限制，您可能需要优化读取文件的方式。使用fread() 以更大的块读取它可能会更好，然后使用sscanf() 处理存储在内存中的缓冲区。

您也可以自己解析缓冲区，这将比*scanf() 更快。

[编辑]

特别是对于 Drakosha：

$ time ./main1
Good entries: 10000000

real    0m3.732s
user    0m3.531s
sys 0m0.109s
$ time ./main2
Good entries: 10000000

real    0m0.605s
user    0m0.496s
sys 0m0.094s

因此优化后的版本约为 127MB/s，这可能是我的文件系统的瓶颈，或者操作系统可能会将文件缓存在 RAM 中。原始版本约为 20MB/s。

使用 80MB 文件进行测试：

10000000

1234 a

1234 a
...

ma​​in1.c

#include <stdio.h>

int ok = 0;
void processEntry(int a, char c) {
    if (a == 1234 && c == 'a') {
        ++ok;
    }
}

int main(int argc, char **argv) {
    FILE *f = fopen("data.txt", "r");
    int total = 0;
    int a;
    char c;
    int i = 0;

    fscanf(f, "%d", &total);
    for (i = 0; i < total; ++i) {
        if (2 != fscanf(f, "%d %c", &a, &c)) {
            fclose(f);
            return 1;
        }
        processEntry(a, c);
    }
    fclose(f);
    printf("Good entries: %d\n", ok);
    return (ok == total) ? 0 : 1;
}

ma​​in2.c

#include <stdio.h>
#include <stdlib.h>

int ok = 0;
void processEntry(int a, char c) {
    if (a == 1234 && c == 'a') {
        ++ok;
    }
}

int main(int argc, char **argv) {
    FILE *f = fopen("data.txt", "r");
    int total = 0;
    int a;
    char c;
    int i = 0;
    char *numberPtr = NULL;
    char buf[2048];
    size_t toProcess = sizeof(buf);
    int state = 0;
    int fileLength, lengthLeft;

    fseek(f, 0, SEEK_END);
    fileLength = ftell(f);
    fseek(f, 0, SEEK_SET);

    fscanf(f, "%d", &total);  // read the first line

    lengthLeft = fileLength - ftell(f);

    // read other lines using FSM
    do {
        if (lengthLeft < sizeof(buf)) {
            fread(buf, lengthLeft, 1, f);
            toProcess = lengthLeft;
        } else {
            fread(buf, sizeof(buf), 1, f);
            toProcess = sizeof(buf);
        }
        lengthLeft -= toProcess;
        for (i = 0; i < toProcess; ++i) {
            switch (state) {
                case 0:
                    if (isdigit(buf[i])) {
                        state = 1;
                        a = buf[i] - '0';
                    }
                    break;
                case 1:
                    if (isdigit(buf[i])) {
                        a = a * 10 + buf[i] - '0';
                    } else {
                        state = 2;
                    }
                    break;
                case 2:
                    if (isalpha(buf[i])) {
                        state = 0;
                        c = buf[i];
                        processEntry(a, c);
                    }
                    break;
            }
        }
    } while (toProcess == sizeof(buf));

    fclose(f);
    printf("Good entries: %d\n", ok);
    return (ok == total) ? 0 : 1;
}

Answer 2

您不太可能显着加快数据的实际读取速度。这里大部分时间都会花在将数据从磁盘传输到内存上，这是不可避免的。

您可以通过将fscanf 调用替换为fgets 然后手动解析字符串（使用strtol）来绕过fscanf 必须执行的格式字符串解析，从而加快速度，但是不要指望节省大量资金。

最后，大量优化 I/O 操作通常是不值得的，因为它们通常会被将实际数据传输到/从硬件/外围设备所花费的时间支配。

Answer 3

像往常一样，从分析开始，以确保这部分确实是一个瓶颈。实际上，文件系统缓存应该使您所做的小读取不会很昂贵，但是将文件的较大部分读取到内存然后在内存上操作可能会（有点）更快。 如果（我认为这是极不可能的）您需要保存每个 CPU 周期，您可以编写自己的 fscanf 变体，因为您知道字符串的格式并且只需要支持一个变体。但这种改进也会带来低收益，尤其是在现代 CPU 上。

输入看起来像在各种编程竞赛中。在这种情况下 - 优化算法，而不是读数。

Answer 4

fgets() 或 fgetc() 更快，因为它们不需要将 fscanf() 的整个格式化/变量参数列表芭蕾拖到程序中。然而，这两个函数中的任何一个都会让您手动进行字符到整数的转换。尽管如此，整个程序会更快。

Answer 5

不太希望读取文件更快，因为它是一个系统调用。但是有很多方法可以比使用专门代码的 scanf 更快地解析它。

Answer 6

结帐read 和fread。当您练习编程竞赛时，您可以忽略所有关于磁盘 IO 瓶颈的警告，因为文件可能位于内存中或来自其他进程的管道中，“即时”生成测试。

将您的测试放入/dev/shm（tmpfs 的新解决方案）或制作测试生成器并通过管道传输。

我在编程竞赛中发现，以atoi 的方式解析数字可以大大提高 scanf/fscanf 的性能（atoi 可能不存在，所以准备好手动实现它 - 这很容易）。