许多 Linux 体系结构都支持“大页面”,有关详细信息,请参阅 Documentation/vm/hugetlbpage.txt。例如,在 x86-64 上,sysconf(_SC_PAGESIZE) 报告 4096 作为页面大小,但也可以使用 2097152 字节的大页面。从应用程序的角度来看,这并不重要。内核完全能够根据需要从一种页面类型转换为另一种页面类型,而无需用户空间应用程序担心。
但是,对于特定工作负载,性能 优势非常显着。这就是开发透明大页面支持(参见Documentation/vm/transhuge.txt)的原因。这在虚拟环境中尤其明显,即工作负载在来宾环境中运行。用于madvise() 的新advice 标志MADV_HUGEPAGE 和MADV_NOHUGEPAGE 允许应用程序告诉内核它的偏好,因此mmap(...MAP_HUGETLB...) 不是获得这些性能优势的唯一方法。
我个人认为 Eldad 的 guestion 与在 guest 环境中运行的工作负载有关,重点是在进行基准测试时观察页面映射类型(普通或大页面),以找出针对特定工作负载的最有效配置。
让我们通过一个真实的例子来消除所有误解,huge.c:
#include <stdlib.h>
#include <unistd.h>
#include <sys/mman.h>
#include <string.h>
#include <stdio.h>
#include <errno.h>
#define PAGES 1024
int main(void)
{
FILE *in;
void *ptr;
size_t page;
page = (size_t)sysconf(_SC_PAGESIZE);
ptr = mmap(NULL, PAGES * page, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS | MAP_HUGETLB, -1, (off_t)0);
if (ptr == MAP_FAILED) {
fprintf(stderr, "Cannot map %ld pages (%ld bytes): %s.\n", (long)PAGES, (long)PAGES * page, strerror(errno));
return 1;
}
/* Dump /proc/self/smaps to standard out. */
in = fopen("/proc/self/smaps", "rb");
if (!in) {
fprintf(stderr, "Cannot open /proc/self/smaps: %s.\n", strerror(errno));
return 1;
}
while (1) {
char *line, buffer[1024];
line = fgets(buffer, sizeof buffer, in);
if (!line)
break;
if ((line[0] >= '0' && line[0] <= '9') ||
(line[0] >= 'a' && line[0] <= 'f') ||
(strstr(line, "Page")) ||
(strstr(line, "Size")) ||
(strstr(line, "Huge"))) {
fputs(line, stdout);
continue;
}
}
fclose(in);
return 0;
}
如果可能,上面使用大页面分配 1024 个页面。 (在 x86-64 上,一个大页面是 2 MiB 或 512 个普通页面,因此这应该分配两个大页面的价值,即 4 MiB,私有匿名内存。如果您在不同的架构上运行,请调整 PAGES 常量。 )
通过验证/proc/sys/vm/nr_hugepages 是否大于零,确保启用大页面。在大多数系统上,它默认为零,因此您需要提高它,例如使用
sudo sh -c 'echo 10 > /proc/sys/vm/nr_hugepages'
告诉内核保持一个包含 10 个大页面的池(x86-64 上为 20 MiB)可用。
编译运行上述程序,
gcc -W -Wall -O3 huge.c -o huge && ./huge
您将获得一个缩写的/proc/PID/smaps 输出。在我的机器上,有趣的部分包含
2aaaaac00000-2aaaab000000 rw-p 00000000 00:0c 21613022 /anon_hugepage (deleted)
Size: 4096 kB
AnonHugePages: 0 kB
KernelPageSize: 2048 kB
MMUPageSize: 2048 kB
明显不同于典型的部分,例如
01830000-01851000 rw-p 00000000 00:00 0 [heap]
Size: 132 kB
AnonHugePages: 0 kB
KernelPageSize: 4 kB
MMUPageSize: 4 kB
完整的/proc/self/smaps 文件的确切格式在man 5 proc 中进行了描述,并且非常易于解析。请注意,这是一个由内核生成的伪文件,因此它永远不会被本地化;空白字符是 HT(代码 9)和 SP(代码 32),换行符是 LF(代码 10)。
我推荐的方法是维护一个描述映射的结构,例如
struct region {
size_t start; /* first in region at (void *)start */
size_t length; /* last in region at (void *)(start + length - 1) */
size_t pagesize; /* KernelPageSize field */
};
struct maps {
size_t length; /* of /proc/self/smaps */
unsigned long hash; /* fast hash, say DJB XOR */
size_t count; /* number of regions */
pthread_rwlock_t lock; /* region array lock */
struct region *region;
};
只有当一个线程检查区域数组而另一个线程正在更新或替换它时才需要lock 成员。
这个想法是,在所需的时间间隔,/proc/self/smaps 伪文件被读取,并计算一个快速、简单的哈希(或 CRC)。如果长度和散列匹配,则假设映射没有改变,并重用现有信息。否则,写锁被占用(记住,信息已经过时了),映射信息被解析,并生成一个新的region数组。
如果是多线程的,lock 成员允许多个并发读取器,但会防止使用废弃的 region 数组。
注意:在计算哈希时,您还可以计算映射条目的数量,因为属性行都以大写 ASCII 字母开头(A-Z,代码 65 到 90)。换句话说,以小写十六进制数字开头的行数(0-9,代码 48 到 57,或 a-f,代码 97 到 102)是所描述的内存区域数.
C库提供的函数中,mmap()、munmap()、mremap()、madvise()(和posix_madvise())、mprotect()、malloc()、calloc()、realloc()、 free()、brk() 和 sbrk() 可能会更改内存映射(尽管我不确定此列表是否包含所有这些)。可以插入这些库调用,并在每次(成功)调用后更新内存区域列表。这应该允许应用程序依赖内存区域结构来获取准确的信息。
就我个人而言,我会将此工具创建为预加载库(使用LD_PRELOAD 加载)。只需几行代码即可轻松插入上述函数:插入函数调用原始函数,如果成功,则调用从/proc/self/smaps 重新加载内存区域信息的内部函数。注意调用原来的内存管理函数,保持errno不变;否则它应该很简单。我个人也会避免使用库函数(包括string.h)来解析字段,但无论如何我都过于小心了。
插入的库显然还会提供查询特定地址的页面大小的功能,例如pagesizeat()。 (如果您的应用程序导出一个总是返回-1 和errno==ENOTSUP 的弱版本,您的预加载库可以覆盖它,您无需担心预加载库是否已加载——如果没有,函数只会返回一个错误。)
问题?