【发布时间】:2020-08-20 00:03:33
【问题描述】:
我想用 numpy 创建一个大小为 10^15 的向量并用随机数填充它,但出现以下错误:
超出了允许的最大尺寸。
如果我使用 MPI 会有帮助吗?
谢谢
【问题讨论】:
-
您是否有足够的 RAM 来容纳千万亿的数字?这将需要 8000 TB = 800 万 GB
我想用 numpy 创建一个大小为 10^15 的向量并用随机数填充它,但出现以下错误:
超出了允许的最大尺寸。
如果我使用 MPI 会有帮助吗?
谢谢
【问题讨论】:
消息传递接口(MPI)主要用于跨多台机器(节点)进行并行计算。大型阵列可以拆分为较小的阵列并存储在不同的机器上。然而,虽然当然可以将数据分发到不同的节点,但您应该仔细考虑为您的特定任务执行此操作的必要性。此外,如果您能够拆分阵列,您也可以在一台机器上执行此操作。如果性能不是问题,请避免并行计算。
【讨论】: