【问题标题】:Does spatial locality provided by a cache refer to virtual memory, physical memory or both?缓存提供的空间局部性是指虚拟内存、物理内存还是两者兼而有之?
【发布时间】:2019-03-28 01:10:54
【问题描述】:

我试图理解为什么可以以某种方式编写使用数组(例如矩阵乘法)的程序以利用缓存的空间局部性。

  • 缓存提供的空间局部性是指虚拟内存、物理内存还是两者中的局部性? 当计算机系统将一块数据从主存带入 CPU 缓存时,它会将虚拟或物理上连续的数据对象带入 CPU 缓存吗?

  • 当我们以非动态或动态方式(通过 malloc())定义数组或结构对象时,连续分配这样的数组或对象是否正确? “连续”是指虚拟内存还是物理内存或两者兼而有之?

如果缓存的空间局部性用于物理内存而不一定是虚拟内存,并且操作系统可以分配给 C 程序实际上不一定是物理上连续的数组,我们如何编写程序来利用缓存的空间局部性?

谢谢。

【问题讨论】:

    标签: c caching malloc virtual-memory


    【解决方案1】:

    1) 两者都有,但为什么很微妙。

    2) 高速缓存对称为行的数据块进行操作,行中的字节实际上和物理上都是连续的。典型的行大小为 16、32、64 字节。 如果两个相邻的高速缓存行位于同一页中,则它们必须在物理上是连续的。典型的页面大小为 4、8、16 K。因此,具有 32 字节高速缓存行和 4K 基本页面的机器每页有 128 行。

    3,4) 在结构的 C 成员中,联合或数组实际上是连续的。物理上是否连续取决于操作系统。

    (1) 第 2 部分:还有另一个缓存称为 Translation Lookaside Buffer (TLB),它保留最近使用的页面映射。如果没有这样的机制,每个内存引用都需要两个物理内存引用:一个用于加载内存地址转换,然后它将应用于生成所需的内存引用。

    假设您的 TLB 有 32 个条目(这些天小得愚蠢),并且您的代码遍历了这样的数组:

    char *p;
    for (p = array; p < array + 4096; p++) {
         char *q;
         for (q = p; q < p + 32 * 4096; q += 4096) {
               *q += 1;
         }
    }
    

    您可以有效地模拟没有 TLB 的机器,因为每个“*q”的内存引用都会在 TLB 中丢失,需要从内存中获取。

    如果您知道缓存关联性和大小的详细信息,您可以为内存缓存构造一个类似的病态案例;或者如果你不走运,你可能会不小心碰到它并想知道为什么你的程序这么慢。

    【讨论】:

    • 谢谢。如果缓存的空间局部性用于物理内存而不一定是虚拟内存,并且操作系统可以分配给 C 程序实际上不一定是物理上连续的数组,我们如何编写程序来利用缓存的空间局部性?
    • @Ben:一些操作系统实现了一种叫做“页面着色”的技巧(参见en.wikipedia.org/wiki/Cache_coloring),以确保虚拟内存“尽可能连续”;有些操作系统没有,你最终依靠运气来避免病态的情况(例如,数组使用的所有页面碰巧使用相同的一小部分缓存)。另请注意,有时操作系统可能支持/使用“大页面”(例如现代 80x86 上的 2 MiB 页面),这往往有助于(物理)局部性(尤其是在不支持页面着色时)。
    • 这取决于系统是否支持和启用虚拟内存。大多数真实系统(不是很小的)都使用虚拟内存,因此,空间局部性仅对虚拟地址空间有意义,而不是物理地址空间。所有优化空间局部性的技术都与虚拟地址空间相关。就像@Ben 正确观察到的那样,应用程序甚至操作系统都使用虚拟内存(除了自己管理虚拟内存结构时)。不过,其余的答案看起来不错。
    【解决方案2】:

    假设您使用的编程语言只支持一维数组。假设您有一个 3x3 矩阵。您通过

    实现二维数组
    a [i, j] = a (i*3 + j)
    

    如果您构建您的数组访问。如果你遍历数组的元素,如果你的外循环索引是 i 并且你的内循环索引是 j 你按顺序访问:

    a(0), a(1), a(2), ..... a(8)
    

    如果您将 j 设为外循环索引,将 i 设为您按顺序访问的内循环索引:

    a(0), a(3), a(6), a(1), a(4), a(7), a(2), a(5), a(8)
    

    你在你的阵列中跳来跳去。这种跳跃会对缓存造成严重破坏,因为缓存期望成组地抢占内存。

    这个问题在多维数组的编程语言中仍然存在。在这种情况下,编译器会为您将多个维度转换为单个维度。您遇到的问题是不同的编程语言对待下标的顺序不同。

    【讨论】:

      猜你喜欢
      • 2019-08-20
      • 2010-10-08
      • 2011-02-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-05-21
      • 2012-08-02
      • 2012-12-30
      相关资源
      最近更新 更多