【问题标题】:In which specific scenario would read only data cache outperform global memory access?在哪种特定情况下,只读数据缓存会胜过全局内存访问?
【发布时间】:2015-03-04 22:18:15
【问题描述】:

好的,我的问题可能很笼统,因为我现在没有具体问题。

但是,根据我过去的经验,我从未见过 CUDA 的只读数据缓存优于其他类型的内存访问,例如全局内存或常量内存,在最好的情况下,只读数据缓存将与直接非缓存一样快- 合并全局内存访问,这让人觉得我可能做错了什么。

所以我的问题是,在什么情况下只读数据缓存会比其他类型的内存访问更快?

【问题讨论】:

  • 您如何衡量只读缓存访问与直接非合并全局内存访问的性能?你说的是哪个缓存?纹理缓存、常量缓存、自费米以来的 L1/L2 缓存?
  • 您好 pQB,只读数据缓存是 NVIDIA GK110 GPU 中引入的新缓存,您可以参考此链接并参阅第 1.4.4.3 节:docs.nvidia.com/cuda/kepler-tuning-guide/…。我只是通过计算整个执行时间或内核来衡量性能。

标签: caching cuda


【解决方案1】:

默认情况下,GK110 设备具有 L1 缓存 disabled for ordinary global accesses。这意味着全局读取可能会缓存在 L2 中,但不会缓存在 L1 中。 L2 缓存的访问延迟比 L1 更长。

如果您的数据是只读的,并且编译器能够发现它,或者您使用const ... __restrict__ ... 协助编译器对全局指针内核参数进行适当的修饰,则可以使用只读缓存。如果使用它,访问延迟将更接近于访问只读缓存中的项目的 L1 类型延迟,而不是仅命中 L2 缓存中的项目的 L2 类型延迟。

缓存通常仅在存在数据重用的情况下对代码性能产生影响。如果您的设备代码只从特定全局变量中读取一次,则不太可能有任何缓存优势。

如果您想查看具体的代码示例,请查看我提供的答案here。当我从内核参数中删除 const __restrict__ 限定符时,我看到 K40c 的性能差异(并且我在那里记录了我的答案中的差异)。

【讨论】:

  • 嗨罗伯特,你的回答太棒了。就在您回答这个问题的前一天,我碰巧遇到了与您描述的相同的情况,并且看到了显着的性能改进,这也证明了您的答案的正确性。谢谢!
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多