【问题标题】:Why speed of reading a file on Windows depends on file's extension?为什么在 Windows 上读取文件的速度取决于文件的扩展名?
【发布时间】:2020-07-09 07:27:33
【问题描述】:

在我的代码中,我有一个文件数据库httpcache.db,我的应用程序将其读入内存并在单个读/写 FILE i/o api 调用中将其写回磁盘。我使用普通的 fopen/fread 读/写它。我决定压缩它,看看减小尺寸是否会提高整体速度。起初,我测量了读取 httpcache.db 所需的加载时间,我得到了相当一致的 350 微秒时间。 httpcache.db 文件的大小为 500KB。然后我简单地压缩它(httpcache.db.zip 大小变为 24KB)并尝试测量读取压缩文件所需的时间。压缩文件需要 90 微秒。但是,根据我的测量,解压缩此文件大约需要 1000 微秒(总计 1090 微与 350 微)。

然后我尝试改用lz4 压缩器。压缩后的大小变成了 40KB。然而,使用 lz4,解压缩我原来的 httpcache.db 只需要 80 微秒。它看起来像是一场胜利:90+80 微秒与 lz4 压缩前的 350 微秒。为了确保一切正常,我进行了最后一次运行以验证数字,令我惊讶的是,加载压缩的 40KB 文件所花费的时间与原始 500KB 未压缩文件所花费的时间相同。我检查了所有内容,但没有发现我的代码有问题:以某种方式加载 40KB 或 500KB 文件需要 350-400 微秒,而 24KB 文件需要 90 微秒。唯一的区别(除了文件大小)是文件名/扩展名。我只是将 lz4 压缩文件从 httpcache.db 重命名为 httpcache.zip,令我惊讶的是,只是将文件扩展名突然“提升”了 200%:加载 40KB httpcache.zip 文件将需要 90 微秒,正如预期的那样。

在尝试了不同的事情之后,如果文件的扩展名是.db 或.bin,我似乎会读得很慢,如果扩展名是.zip、.txt 或根本没有扩展名,我会读得很快。

显然,Windows 以某种方式根据文件扩展名弄乱了文件 io(我使用在 2020 macbook pro 16 上的 bootcamp 中运行的最新 Win10 pro)。我为文件所在的文件夹禁用了防病毒软件,但仍然得到相同的结果。任何想法发生了什么以及为什么文件的扩展名对文件 io 的影响如此之大?

这是我运行来测量的代码:

int main()
{
    std::string fdataZip, fdata;
    {
        static const char dbName[] = "../data/httpcache.db.zip"; // 24KB
        auto t0 = timeMicro();
        readFile(dbName, fdataZip);
        auto t1 = timeMicro();
        LOG("%s load time: %lld micro", dbName, t1 - t0);
    }

    {
        static const char dbName[] = "../data/httpcache.db"; // 40 KB
        auto t0 = timeMicro();
        readFile(dbName, fdata);
        auto t1 = timeMicro();
        LOG("%s load time: %lld micro", dbName, t1 - t0);
    }
}

而 readFile 是:

void readFile(const char* fileName, std::string& fileData)
{
    fileData.clear();
    if (FILE* fl = fopen(fileName, "rb"))
    {
        fseek(fl, 0, SEEK_END);
        long length = ftell(fl);
        fseek(fl, 0, SEEK_SET);
        if (length > 0)
        {
            fileData.resize(length);
            (void)fread(&fileData[0], 1, length, fl);
        }
        fclose(fl);
    }
}

timeMicro 使用QPC 时钟实现。

我得到的示例运行的输出:

   0:000 ... start
   0:002 ../data/httpcache.db.zip load time: 97 micro
   0:003 ../data/httpcache.db load time: 450 micro

【问题讨论】:

  • “很明显,windows 以某种方式根据文件扩展名弄乱了文件 io” - 根据您发布的内容,我认为这不是一个明显/清晰的结论。
  • 您最好发布可以指出问题的最少量代码。没有代码,真的很难指出任何事情。我并不是说 Windows 不像你认为的那样做,但往往会有一个解释。
  • @JesperJuhl 我写的要点是:更改文件扩展名会影响读取文件的速度。
  • @amn 示例代码添加
  • 我尝试禁用 AV,这消除了问题。

标签: c++ c windows file-io


【解决方案1】:

看起来 Windows Defender 是罪魁祸首。即使我所有的工作都位于我添加到防病毒设置中的排除列表中的文件夹中,即使我尝试将此 httpcache.db 添加到排除中,但在我尝试关闭实时保护之前它仍然没有任何区别:

之后,文件的扩展名不会影响文件 io 速度:

   0:000 ... start
   0:002 ../data/httpcache.db.zip load time: 89 micro
   0:002 ../data/httpcache.db load time: 97 micro

在我的情况下,将我的文件重命名为 httpcache 可以避免 windows 的 AV 出现问题,这是问题的解决方案。文件扩展名可能会影响这一点有点奇怪。

猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2021-10-02
  • 2013-10-03
  • 2016-03-24
  • 2023-03-03
  • 1970-01-01
  • 1970-01-01
  • 2017-03-09
相关资源
最近更新 更多