【发布时间】：2009-02-06 22:16:57
【问题描述】：
这是我的一本 CS 教科书中的一个问题。我很茫然。我不明白为什么它必然会导致并行计算。有人想指出我正确的方向吗？
【问题讨论】：
标签： parallel-processing moores-law
【发布时间】：2009-02-06 22:16:57
【问题描述】：
摩尔定律只是说，价格合理的集成电路上的晶体管数量往往每 2 年翻一番。
关于速度或晶体管密度或裸片尺寸的观察结果都与原始观察结果有些正交。
这就是我认为摩尔定律不可避免地导致并行计算的原因：
如果你不断将晶体管的数量增加一倍，你打算如何处理它们？
- 更多说明！
- 更广泛的数据类型！
- 浮点数学！
- 更多缓存（L1、L2、L3）！
- 微操作！
- 更多流水线阶段！
- 分支预测！
- 推测执行！
- 数据预取！
- 单指令多数据！
最终，当你实现了所有你能想到的使用所有这些额外晶体管的技巧时，你最终会想：为什么我们不在新芯片上执行所有这些很酷的技巧 TWICE？
八大兵。巴达繁荣。多核是不可避免的。
顺带一提，我认为当前CPU多核相同的趋势最终也会消退，未来真正的处理器将有一个主核、一组通用核和一组专用核协处理器（类似于显卡，但带有 CPU 和缓存的芯片）。
IBM Cell 处理器（在 PS3 中）已经有点像这样了。它有一个主核心和七个“协同处理单元”。
【讨论】：
一个字 - Heat。
由于无法在当前晶体管水平上散热，工程师正在利用他们不断增长的晶体管预算来创建更多内核，而不是创建更复杂（和热）的管道和更快的处理器。
摩尔定律根本没有死 - moore's law is about transistor density at a given cost。碰巧的是，出于各种原因（如营销），工程师决定使用他们的晶体管预算来增加时钟周期。现在他们决定（因为热量问题）开始使用晶体管进行并行处理，加上 64 位计算和降低功耗。
【讨论】：
摩尔定律描述了由于在电路板上添加更多晶体管而导致芯片性能有效翻倍的趋势。
由于设备的尺寸没有增加（如果有相反的情况），那么很明显，这些额外晶体管的空间只有在芯片技术变得更小和制造变得更好的情况下才变得可用。
然而，在某些时候，您会到达无法进一步最小化晶体管的阶段。由于产生的热量和所涉及的制造成本，将芯片的尺寸增加到超过某个点也变得不可能。
这些限制需要一种提高性能的方法，而不仅仅是生产更复杂的芯片。
其中一种方法是在并行架构中使用更便宜且不太复杂的芯片，另一种方法是从传统的集成芯片转移到量子计算之类的东西——根据它的定义，它就是并行处理。
值得注意的是，这个问题的标题更多地与观察到的定律结果（性能提升）有关，而不是实际定律本身，后者主要是对晶体管数量的观察。
【讨论】：
-
问题是“为什么会导致并行计算”。你不回答。而且我很惊讶并行处理应该在不增加尺寸的情况下工作 - 所以单个晶体管的尺寸不能成为需要并行处理的答案。
-
摩尔定律的原始版本不是关于电路的速度，而是关于它们的大小。但就像硬盘密度速度一样，经常被贴上这样的标签。但所有这些指数增长现象都有自己的周期。
我认为是对free lunch is over文章的引用
基本上，关于晶体管密度的摩尔定律的原始版本仍然成立。但是一个重要的衍生法则，关于每 xx 个月处理速度翻一番，已经碰壁了。
因此，我们面临的未来是处理器速度只会略微提升，但我们将拥有更多内核和缓存。
【讨论】：
这是一个奇怪的问题。摩尔定律不需要任何东西，它只是对计算能力进展的观察，并没有规定它必须以一定的速度增加。
【讨论】：
-
我明白你的意思，但我认为可以有把握地假设问题真的是“如果摩尔定律描述的趋势要遵循很长时间，如果不是无限期，为什么需要并行处理。”
-
在这种解释下，我同意安德鲁的回答。
提高处理器的速度会使工作温度非常高，甚至会在您的办公桌上烧出一个洞。芯片制造商正面临着他们无法绕过的某些限制……例如光速。并行计算将使他们能够在不引起火灾的情况下加速计算机。
【讨论】：
-
光速是怎么算的？
-
你必须在芯片周围分配时钟信号并保持同步。从芯片的一侧到另一侧需要有限的时间。随着时钟变得越来越快，它会有所作为。
-
老实说，我并不积极。我不是物理学家，但斯蒂芬霍金是。 blog.wired.com/business/2007/09/idf-gordon-mo-1.html
-
@Mo 在高时钟速度下，光速成为限制因素。粗略地说，在光速下，1 纳秒是一英尺（30 厘米）。
晶体管和 cpu 之类的东西越来越小，越来越快。唉，计算的热量和电压成本正在上升。热量和电压问题与实际物理尺寸最小值一样令人担忧。 100ghz 芯片会吸收太多电压并变得太热，但 100 个 1ghz 芯片不会有这个问题。
【讨论】：
有趣的是，在“必须”并行计算的问题中提出的想法受到阿姆达尔定律的质疑，该定律基本上说，除非您的程序 100% 是可并行化的（即在现实世界中永远不会发生这种情况）。
例如，如果您有一个程序需要在一个处理器上运行 20 分钟，并且可并行化 50%，并且您购买了大量处理器来加快速度，那么您的最短运行时间仍将超过 10 分钟。这忽略了所涉及的成本和其他问题。
【讨论】：
真正的答案完全是非技术性的，并不是说硬件解释不够出色。就是摩尔定律越来越少了一种观察，更多的是一种期待。这种对计算机呈指数增长的期望已成为行业的驱动力，这需要所有的并行性。
【讨论】：
摩尔定律表明，IC 中晶体管的数量相对于成本会逐年呈指数增长。
从历史上看，这部分是由于晶体管尺寸的减小，而且更小的晶体管也可以更快地切换。因为你得到了符合摩尔定律的更快的晶体管，所以时钟速度提高了。所以说摩尔定律意味着更快的处理器而不是更宽的处理器存在混淆。
对于经济生产的硅，散热导致速度增加在 3 GHz 左右达到顶峰。
因此，如果您想要更便宜的计算，添加更多、更慢的电路会更容易。因此，当前最先进的商品处理器是多核的——它们越来越宽，但速度并不快。
Graphene film transistors 需要更少的功率，并且在 30 GHz 左右运行，理论极限在 0.6 THz 左右。
当石墨烯技术在几年内成熟到商品级别时，预计会发生另一次巨变，没有人会关心使用并行内核来提高性能，并回到狭窄、快速的内核。另一方面，并发计算对于它自然适合的问题仍然很重要，因此您仍然必须知道如何处理多个执行单元。
【讨论】：
-
很好地解释了速度与密度的关系。你觉得石墨烯薄膜晶体管适合量产吗？
因为正交计算失败了。我们应该去quantum。
【讨论】：
-
好吧，失败是一个强词:-)
-
是的，我知道。这不是建设性的:)
摩尔定律需要并行计算，因为Moore's law is on the verge of/is dead。因此，考虑到这一点，如果将晶体管塞入 IC 变得越来越难（由于其他地方提到的一些原因），那么剩下的选择是添加更多处理器，例如并行处理或使用 Quantum。
【讨论】：
摩尔定律仍然成立。晶体管数量仍在增加。问题在于找出对所有这些晶体管有用的东西。我们不能仅仅通过使流水线更深更宽来不断增加指令级并行性，因为证明指令之间独立性所需的电路在你需要证明独立性的指令数量上会显着增加。我们不能仅仅因为热量而不断提高时钟速度。我们可以继续增加缓存大小，但我们在这里遇到了收益递减点。晶体管的唯一用途似乎是将更多内核放在芯片上，这意味着工程师弄清楚如何处理晶体管的工作只是推高了抽象阶梯，现在程序员必须弄清楚该怎么做拥有所有这些核心。
【讨论】：
我不认为摩尔定律需要并行计算，但它确实需要最终从纯粹的小型化转变。存在多种解决方案。其中一个是并行计算，另一个是协同处理（这是真实的，但与并行计算不同。协同处理是将工作卸载到 GPU、DSP 等专用 CPU 时。）
【讨论】：
老实说，我真的不知道，但我的猜测是晶体管在某些时候不会变得更小，需要并行分布处理能力。
【讨论】：
-
晶体管以同样的速度变小。
-
是的......我想我不确定你在做什么。
这是因为我们都沉迷于提高处理器的速度。多年的调节使我们年复一年地期待更多的处理能力。但密集晶体管造成的物理限制最终限制了时钟速度，因此必须从不同的角度来提高速度。
不必如此。 Intel Atom 处理器的成功表明处理器可以变得更小、更便宜。不过，处理器公司将努力让我们保持在“更大、更快”的跑步机上，以保持他们的利润增长。我们会愿意参与，因为我们总能找到使用更多权力的方法。
【讨论】：