非临时负载和硬件预取器，它们可以一起工作吗？

Question

当从连续的内存位置执行一系列 _mm_stream_load_si128() 调用 (MOVNTDQA) 时，硬件预取器是否仍会启动，或者我应该使用显式软件预取（带有 NTA 提示）以获得在避免缓存污染的同时预取的好处？

我之所以这么问是因为他们的目标在我看来是矛盾的。流式加载将绕过缓存获取数据，而预取器尝试主动将数据获取到缓存中。

当顺序迭代大型数据结构时（处理过的数据不会在很长一段时间内被修改），避免污染 chache 层次结构对我来说是有意义的，但我不想招致频繁的 ~100 循环惩罚因为预取器处于空闲状态。

目标架构是英特尔 SandyBridge

Answer 1

根据Patrick Fay (Intel)'s Nov 2011 post:，“在最新的英特尔处理器上，prefetchnta 将内存中的一条线带入 L1 数据缓存（而不是其他缓存级别）。”他还说，您需要确保不要太晚预取（硬件预取已经将其拉入所有级别）或太早（在您到达那里时被驱逐）。

---

正如 OP 上的 cmets 中所讨论的，当前的 Intel CPU 具有一个大型共享 L3，其中包括所有每核缓存。这意味着缓存一致性流量只需检查 L3 标签，以查看缓存行是否可能在每个核心 L1/L2 中的某处被修改。

IDK 如何协调 Pat Fay 的解释与我对缓存一致性/缓存层次结构的理解。我想如果它确实进入 L1，它也必须进入 L3。也许 L1 标签有某种标志表明这条线是弱序的？我最好的猜测是他在简化，并说 L1 实际上只进入填充缓冲区。

这个Intel guide about working with video RAM 谈论使用加载/存储缓冲区而不是缓存行的非临时移动。 （请注意，这可能仅适用于 uncacheable 内存。）它没有提到预取。它也很古老，早于 SandyBridge。然而，它确实有这个多汁的报价：

普通加载指令以 指令要求的大小相同。相比之下，流式加载 诸如 MOVNTDQA 之类的指令通常会拉取一个完整的缓存行 数据到 CPU 中的一个特殊的“填充缓冲区”。后续流式加载 将从该填充缓冲区中读取，从而减少延迟。

然后在另一段中，说典型的 CPU 有 8 到 10 个填充缓冲区。 SnB/Haswell still have 10 per core.。再次注意，这可能仅适用于不可缓存的内存区域。

movntdqa on WB (write-back) memory not 弱排序(see the NT loads section of the linked answer)，因此它不允许“陈旧”。与 NT 存储不同，movntdqa 和 prefetchnta 都不会改变 Write-Back 内存的内存顺序语义。

我没有测试过这个猜测，但是现代 Intel CPU 上的 prefetchnta / movntdqa 可以将缓存线加载到 L3 和 L1，但可以跳过 L2（因为 L2 不是包括或不包括 L1)。 NT 提示可以通过将缓存行放置在其集合的 LRU 位置来产生影响，它是要被驱逐的下一行。 （普通缓存策略在 MRU 位置插入新行，距离被驱逐最远。见this article about IvB's adaptive L3 policy for more about cache insertion policy）。

---

IvyBridge 上的预取吞吐量仅为每 43 个周期一次，因此如果您不希望预取降低 IvB 上的代码速度，请注意不要预取过多。来源：Agner Fog's insn tables and microarch guide。这是一个特定于 IvB 的性能错误。在其他设计中，过多的预取只会占用原本可能是有用指令的微指令吞吐量（除了预取无用地址的危害）。

关于一般的 SW 预取（不是 nt 那种）：Linus Torvalds 发布了他们如何 rarely help in the Linux kernel, and often do more harm than good。显然，在链表末尾预取 NULL 指针会导致速度变慢，因为它会尝试填充 TLB。

Answer 2

我最近对prefetch 的各种口味进行了一些测试，而answering another question 我的发现是：

使用prefetchnta的结果与Skylake客户端上的以下实现一致：

• prefetchnta 将值加载到 L1 和 L3 而不是 L2（实际上，如果 L2 已经存在该行，它似乎可能会被逐出）。
• 似乎将值“正常”加载到 L1，但在 L3 中以较弱的方式加载，因此它被更快地驱逐（例如，仅加载到集合中的单一方式，或者设置其 LRU 标志，使其将成为下一个受害者）。
• prefetchnta 与所有其他预取指令一样，使用 LFB 条目，因此它们并不能真正帮助您获得额外的并行性：但 NTA 提示在此处可用于避免 L2 和 L3 污染。

当前的优化手册 (248966-038) 在一些地方声称 prefetchnta 确实将数据带入 L2，但仅以一种方式脱离集合。例如，在 7.6.2.1 视频编码器中：

为视频编码器实现的预取缓存管理 减少内存流量。二级缓存污染减少 通过防止一次性使用的视频帧数据进入 二级缓存。使用非时间 PREFETCH (PREFETCHNTA) 指令仅将数据带入二级缓存的一种方式， 从而减少对二级缓存的污染。

这与我在 Skylake 上的测试结果不一致，其中使用 prefetchnta 跨越 64 KiB 区域显示的性能几乎与从 L3 获取数据完全一致（每个负载约 4 个周期，MLP 因子为 10和大约 40 个周期的 L3 延迟）：

                                 Cycles       ns
         64-KiB parallel loads     1.00     0.39
    64-KiB parallel prefetcht0     2.00     0.77
    64-KiB parallel prefetcht1     1.21     0.47
    64-KiB parallel prefetcht2     1.30     0.50
   64-KiB parallel prefetchnta     3.96     1.53

由于 Skylake 中的 L2 是 4-way，如果数据以一种方式加载，它应该几乎不会留在 L2 缓存中（其中一种方式覆盖 64 KiB），但上面的结果表明它没有.

您可以使用我的uarch-bench 程序在您自己的 Linux 硬件上运行这些测试。旧系统的结果会特别有趣。

Skylake 服务器 (SKLX)

prefetchnta 在具有different L3 缓存架构的 Skylake 服务器上报告的行为与 Skylake 客户端有很大不同。特别是，使用 prefetchnta 获取的用户 Mysticial reports that 行在任何缓存级别均不可用，一旦从 L1 中逐出，就必须从 DRAM 重新读取。

最可能的解释是，由于prefetchnta，他们根本没有进入 L3 - 这很可能是因为在 Skylake 服务器中，L3 是私有 L2 缓存的非包容性共享受害者缓存，所以行使用prefetchnta绕过L2缓存很可能永远没有机会进入L3。这使得prefetchnta 在功能上更纯粹：更少的缓存级别被prefetchnta 请求污染，但也更脆弱：在被驱逐之前从L1 读取nta 行的任何失败都意味着另一个完整的内存往返： prefetchnta 触发的初始请求完全被浪费了。

Answer 3

这个问题让我做了一些阅读...查看 MOVNTDQA 的英特尔手册（使用 14 年 9 月版），有一个有趣的声明 -

处理器实现可以使用非临时提示 如果内存源是 WC（写 结合）内存类型。一个实现也可以使用 与该指令相关的非时间提示，如果内存 source 是 WB（回写）内存类型。

以后 -

正在读取的区域的内存类型可以覆盖非临时的 提示，如果为非临时读取指定的内存地址不是 WC 内存区域。

因此，除非您的内存类型是 WC，否则似乎无法保证非临时提示会执行任何操作。我真的不知道 WB memtype 注释是什么意思，也许某些英特尔处理器确实允许您使用它来减少缓存污染，或者他们可能希望将来保留此选项（所以您不要开始使用WB mem 上的 MOVNTDQA 并假设它的行为始终相同），但很明显 WC mem 是这里的真正用例。您希望这条指令为原本完全无法缓存的内容提供一些短期缓冲。

现在，另一方面，查看 prefetch* 的描述：

来自不可缓存或 WC 内存的预取将被忽略。

所以这几乎结束了故事 - 你的想法是绝对正确的，这两个可能不是故意的，也不太可能一起工作，很可能其中一个会被忽略。

好的，但是这两个是否有可能实际工作（如果处理器为 WB 内存实现 NT 加载）？好吧，再次阅读 MOVNTDQA 的内容，其他的东西引起了人们的注意：

缓存中的任何内存类型别名行都将被窥探并 脸红了。

哎哟。因此，如果您以某种方式设法预取到缓存中，您实际上可能会降低任何连续流加载的性能，因为它必须首先刷新线路。不是个好主意。

Answer 4

MOVNTDQA（在 WC 内存上）和PREFETCHNTA 都不会影响或触发任何缓存硬件预取器。非临时提示的整个想法是完全避免缓存污染或至少尽可能减少它。

只有极少数（未记录）的缓冲区称为流加载缓冲区（它们与行填充缓冲区和 L1 缓存分开）来保存使用 MOVNTDQA 获取的缓存行。所以基本上你需要立即使用你获取的东西。另外MOVNTDQA只对WC内存有效。

PREFETCHNTA 指令非常适合您的场景，但您必须弄清楚如何在代码中正确使用它。来自英特尔优化手册第 7.1 节：

如果您的算法是单通道的，请使用 PREFETCHNTA。如果你的算法是 多遍使用 PREFETCHT0。

PREFETCHNTA 指令提供以下好处：

• 它将包含指定地址的特定缓存行至少提取到 L3 缓存和/或可能更高级别的缓存层次结构中（请参阅 Bee 和 Peter 的回答和第 7.3.2 节）。在它被缓存的每个缓存级别中，它可能/应该/更有可能被认为是第一个被驱逐的，以防需要从集合中驱逐一行。在使用PREFETCHNTA 增强的单遍算法（例如计算大量数字的平均值）的实现中，稍后预取的缓存行可以与同样使用 @ 预取的行放置在同一块中987654328@。因此，即使要获取的数据总量很大，也只有整个缓存中的一种方式会受到影响。以其他方式驻留的数据将保持缓存状态，并在算法终止后可用。但这是一把双刃剑。如果两条PREFETCHNTA 指令彼此距离太近，并且如果指定的地址映射到同一个缓存集，那么只有一条会存活。
• 使用 PREFETCHNTA 预取的缓存行与使用相同硬件一致性机制的任何其他缓存行一样保持一致。
• 它适用于 WB、WC 和 WT 内存类型。您的数据很可能存储在 WB 内存中。
• 就像我之前说的，它不会触发硬件预取。正是出于这个原因，它还可以用于提高英特尔推荐的不规则内存访问模式的性能。

执行PREFETCHNTA 的线程可能无法有效地从中受益，具体取决于同一物理内核、同一处理器的其他物理内核或其他处理器的内核上的任何其他运行线程的行为共享相同的相干域。固定、优先级提升、基于 CAT 的缓存分区和禁用超线程等技术可以帮助该线程高效运行。另请注意，PREFETCHNTA 被归类为推测性负载，因此它与三个栅栏指令并发。