我对共享内存和分布式内存之间的区别有点困惑。你能澄清一下吗？
是否为一个处理器共享内存并为多个（网络）分配内存？
如果我们有共享内存，为什么还需要分布式内存？
【问题讨论】：
标签： memory multiprocessing distributed shared cpu-architecture
共享内存和分布式内存是用于特定类型并行编程的低级编程抽象。共享内存允许多个处理元素共享内存中的同一位置（即查看彼此的读取和写入），而无需任何其他特殊指令，而分布式内存需要显式命令才能将数据从一个处理元素传输到另一个处理元素。
关于术语共享内存和分布式内存，有两个问题需要考虑。一个是这些作为编程抽象的含义，另一个是它们在硬件实际实现方式方面的含义。
过去有真正的共享内存缓存一致的多处理器系统。这些系统通过共享总线相互通信并与共享主存进行通信。这意味着从任何处理器到主存储器的任何访问都将具有相同的延迟。今天，这些类型的系统还没有制造出来。相反，处理元素和内存元素之间存在各种点对点链接（这就是for non-uniform memory access, or NUMA 的原因）。然而，直接通过内存进行通信的想法仍然是一种有用的编程抽象。因此在许多系统中，这是由硬件处理的，程序员不需要插入任何特殊指令。使用这些抽象的一些常见编程技术是OpenMP 和Pthreads。
分布式内存传统上与在本地内存上执行计算的处理器相关联，然后使用显式消息与远程处理器传输数据。这增加了程序员的复杂性，但简化了硬件实现，因为系统不再需要维持所有内存实际上是共享的假象。这种类型的编程传统上用于具有数百或数千个处理元件的超级计算机。一种常用的技术是MPI。
但是，超级计算机并不是唯一具有分布式内存的系统。另一个例子是GPGPU 编程，它可用于当今销售的许多台式机和笔记本电脑系统。 CUDA 和 OpenCL 都要求程序员明确管理 CPU 和 GPU（或 OpenCL 中的其他加速器）之间的共享。这主要是因为当 GPU 编程开始时，GPU 和 CPU 内存被 PCI 总线隔开，与在本地连接的内存上执行计算相比，PCI 总线具有非常长的延迟。因此，编程模型的开发假设内存是独立的（或分布式的）并且两个处理元件（CPU 和 GPU）之间的通信需要显式通信。现在许多系统在同一个芯片上都有 GPU 和 CPU 元素there are proposals，以允许 GPGPU 编程具有更像共享内存的接口。
【讨论】：
例如，在现代 x86 术语中，一台物理计算机中的所有 CPU 共享内存。例如具有四个 18 核 CPU 的 4 插槽系统。每个 CPU 都有自己的内存控制器，但它们相互通信，因此所有 CPU 都是一个一致性域的一部分。系统是 NUMA 共享内存，不是分布式的。
一个充满这些机器的房间形成一个分布式内存集群，通过网络发送消息进行通信。
实际考虑是分布式内存的一个主要原因：让数千或数百万个 CPU 内核以任何类型的一致性语义共享同一内存是不切实际的，因此值得称其为共享内存。
【讨论】：