为什么我的 Compute Capability 2.0 GPU 上的每个多处理器的最大线程数为 1536？

Question

在我的 GPU 上，使用 Compute Capability 2.0，每个多处理器的最大线程数是 1536。为什么不是 2 的幂？

以下是我的 GPU 的一些详细信息：

Physical Limits for GPU Compute Capability: 2.0   
Threads per Warp                            32  
Max Warps per Multiprocessor                48  
Max Thread Blocks per Multiprocessor        8  
Max Threads per Multiprocessor              1536  
Maximum Thread Block Size                   1024  
Registers per Multiprocessor                32768  
Max Registers per Thread Block              32768  
Max Registers per Thread                    63  
Shared Memory per Multiprocessor (bytes)    16384  
Max Shared Memory per Block                 16384  
Register allocation unit size               64  
Register allocation granularity             warp  
Shared Memory allocation unit size          128  
Warp allocation granularity                 2  

Answer 1

Threads per Warp x Max Warps per Multiprocessor = Max Threads per Multiprocessor

32 x 48 = 1536

Max Warps per Multiprocessor实际上是Maximum number of **resident** warps per multiprocessor，而Max Threads per Multiprocessor就是Maximum number of **resident** threads per multiprocessor。

检查this。在表 14 中，您将看到上述规则适用于所有计算能力。

数字 1536 表示每个多处理器（在 cuda 中称为 Streaming Processor 的 SM）最多可以有 1536 个活动线程。这并不意味着您只能启动 1536 个线程。您可以在对 CUDA 内核的调用中启动超过 1536 个线程，但每个 SM 只能包含 1536 个线程。此外，这并不意味着 1536 个线程同时在物理上执行。 Warp 是执行单元，直到今天，在所有代的 CUDA 中都是 32。

以下引用来自here。

相比之下，CUDA 设备上最小的可执行并行单元包含 32 个线程（称为线程束）。现代 NVIDIA GPU 最多可支持每个多处理器并发 1536 个活动线程（请参阅 CUDA C 编程指南的特性和规范）在具有 16 个多处理器的 GPU 上，这会导致超过 24,000 个并发活动线程。

---

编辑

另外的问题是：

您能否还强调一下为什么每个多处理器的 Max Warps 是 48 而不是 2 的幂（因为内核数和寄存器大小 = 65536 字节都是 2 的幂）？

每个 SM 的核心数并不总是 2 的幂。 CPU 核心 和 CUDA 核心 之间也存在一些细微差别。以计算能力 3.x 的设备为例(link)。

一个多处理器包括：

• 192 个用于算术运算的 CUDA 内核，
• 32 个用于单精度浮点超越函数的特殊函数单元，
• 4 个 warp 调度程序。

如您所见，CUDA 内核的数量(192) 不是 2 的幂，而 CPU 内核是通用的，CUDA 内核不执行单精度浮点超越函数。这些操作由其他一些特殊功能单元处理。签出this。

另外，在你的问题中它说Registers per Multiprocessor 是 32K。这意味着每个 SM 有 32K 32 位寄存器。所以总的寄存器大小是128KB。

鉴于所有这些，我认为Max Warps per Multiprocessor 没有理由成为 2 的幂。