【发布时间】:2010-09-14 18:47:01
【问题描述】:
在运行性能测试时,文件系统缓存命中或未命中会显着影响测试结果。因此,通常在运行此类测试之前,使用的文件会从系统缓存中逐出。如何在 Linux 上做到这一点?
澄清:如果可能,该解决方案不应要求 root 权限。
【问题讨论】:
标签: linux performance testing caching file-io
在运行性能测试时,文件系统缓存命中或未命中会显着影响测试结果。因此,通常在运行此类测试之前,使用的文件会从系统缓存中逐出。如何在 Linux 上做到这一点?
澄清:如果可能,该解决方案不应要求 root 权限。
【问题讨论】:
标签: linux performance testing caching file-io
作为超级用户,您可以执行以下操作:
释放页面缓存:
释放dentries和inode:
释放 pagecache、dentries 和 inode:
此操作不会“丢失”任何数据(缓存在数据被删除之前写入磁盘),但是,要真正确保所有缓存都已清除,您应该先同步。例如。如果你运行,所有缓存都应该被清除
sync; echo 3 > /proc/sys/vm/drop_caches
正如我所说,只有超级用户 (root) 可以这样做。
【讨论】:
哈,我有答案了:
#include <unistd.h>
#include <fcntl.h>
int main(int argc, char *argv[]) {
int fd;
fd = open(argv[1], O_RDONLY);
fdatasync(fd);
posix_fadvise(fd, 0,0,POSIX_FADV_DONTNEED);
close(fd);
return 0;
}
【讨论】:
Eric Wong 提供了一个命令行实用程序,可以轻松调用 posix_fadvise:
http://git.bogomips.org/cgit/pcu.git/tree/README
那么就这么简单
$ pcu-fadvise -a dontneed filename-to-evict
【讨论】:
关于 O_DIRECT 的使用:这会以另一种方式扰乱结果。内核将尝试将文件系统数据直接 DMA 到您的 read() 缓冲区中,因此可以将其交给您的应用程序,而无需进行任何额外的复制。如果没有 O_DIRECT,内核会将文件数据 DMA 到页面缓存中,并将其从页面缓存复制到您的 read() 缓冲区。
如果您的应用真的要在生产环境中使用 O_DIRECT,这很好。如果您使用 O_DIRECT 运行性能测试,然后删除 O_DIRECT 进行生产,您的性能测试将不切实际。
【讨论】:
如果您可以将测试数据放在单独的文件系统中,那么重新安装文件系统以进行测试会给您空缓存。
如果您在 /etc/fstab 中使用“用户”选项列出测试文件系统,那么您可以挂载它以进行测试,而无需成为超级用户
【讨论】: