【发布时间】:2020-07-09 07:27:33
【问题描述】:
在我的代码中,我有一个文件数据库httpcache.db,我的应用程序将其读入内存并在单个读/写 FILE i/o api 调用中将其写回磁盘。我使用普通的 fopen/fread 读/写它。我决定压缩它,看看减小尺寸是否会提高整体速度。起初,我测量了读取 httpcache.db 所需的加载时间,我得到了相当一致的 350 微秒时间。 httpcache.db 文件的大小为 500KB。然后我简单地压缩它(httpcache.db.zip 大小变为 24KB)并尝试测量读取压缩文件所需的时间。压缩文件需要 90 微秒。但是,根据我的测量,解压缩此文件大约需要 1000 微秒(总计 1090 微与 350 微)。
然后我尝试改用lz4 压缩器。压缩后的大小变成了 40KB。然而,使用 lz4,解压缩我原来的 httpcache.db 只需要 80 微秒。它看起来像是一场胜利:90+80 微秒与 lz4 压缩前的 350 微秒。为了确保一切正常,我进行了最后一次运行以验证数字,令我惊讶的是,加载压缩的 40KB 文件所花费的时间与原始 500KB 未压缩文件所花费的时间相同。我检查了所有内容,但没有发现我的代码有问题:以某种方式加载 40KB 或 500KB 文件需要 350-400 微秒,而 24KB 文件需要 90 微秒。唯一的区别(除了文件大小)是文件名/扩展名。我只是将 lz4 压缩文件从 httpcache.db 重命名为 httpcache.zip,令我惊讶的是,只是将文件扩展名突然“提升”了 200%:加载 40KB httpcache.zip 文件将需要 90 微秒,正如预期的那样。
在尝试了不同的事情之后,如果文件的扩展名是.db 或.bin,我似乎会读得很慢,如果扩展名是.zip、.txt 或根本没有扩展名,我会读得很快。
显然,Windows 以某种方式根据文件扩展名弄乱了文件 io(我使用在 2020 macbook pro 16 上的 bootcamp 中运行的最新 Win10 pro)。我为文件所在的文件夹禁用了防病毒软件,但仍然得到相同的结果。任何想法发生了什么以及为什么文件的扩展名对文件 io 的影响如此之大?
这是我运行来测量的代码:
int main()
{
std::string fdataZip, fdata;
{
static const char dbName[] = "../data/httpcache.db.zip"; // 24KB
auto t0 = timeMicro();
readFile(dbName, fdataZip);
auto t1 = timeMicro();
LOG("%s load time: %lld micro", dbName, t1 - t0);
}
{
static const char dbName[] = "../data/httpcache.db"; // 40 KB
auto t0 = timeMicro();
readFile(dbName, fdata);
auto t1 = timeMicro();
LOG("%s load time: %lld micro", dbName, t1 - t0);
}
}
而 readFile 是:
void readFile(const char* fileName, std::string& fileData)
{
fileData.clear();
if (FILE* fl = fopen(fileName, "rb"))
{
fseek(fl, 0, SEEK_END);
long length = ftell(fl);
fseek(fl, 0, SEEK_SET);
if (length > 0)
{
fileData.resize(length);
(void)fread(&fileData[0], 1, length, fl);
}
fclose(fl);
}
}
timeMicro 使用QPC 时钟实现。
我得到的示例运行的输出:
0:000 ... start
0:002 ../data/httpcache.db.zip load time: 97 micro
0:003 ../data/httpcache.db load time: 450 micro
【问题讨论】:
-
“很明显,windows 以某种方式根据文件扩展名弄乱了文件 io” - 根据您发布的内容,我认为这不是一个明显/清晰的结论。
-
您最好发布可以指出问题的最少量代码。没有代码,真的很难指出任何事情。我并不是说 Windows 不像你认为的那样做,但往往会有一个解释。
-
@JesperJuhl 我写的要点是:更改文件扩展名会影响读取文件的速度。
-
@amn 示例代码添加
-
我尝试禁用 AV,这消除了问题。