【问题标题】:Create big Vector with numpy用 numpy 创建大向量
【发布时间】:2020-08-20 00:03:33
【问题描述】:

我想用 numpy 创建一个大小为 10^15 的向量并用随机数填充它,但出现以下错误:

超出了允许的最大尺寸。

如果我使用 MPI 会有帮助吗?

谢谢

【问题讨论】:

标签: python arrays numpy


【解决方案1】:

消息传递接口(MPI)主要用于跨多台机器(节点)进行并行计算。大型阵列可以拆分为较小的阵列并存储在不同的机器上。然而,虽然当然可以将数据分发到不同的节点,但您应该仔细考虑为您的特定任务执行此操作的必要性。此外,如果您能够拆分阵列,您也可以在一台机器上执行此操作。如果性能不是问题,请避免并行计算。

【讨论】:

  • 在不同的机器上,意味着我的处理器的核心?
  • 两者都可以使用 MPI。但是,当没有多核 CPU 可用时,MPI 是为不同机器之间的通信而构建的。
猜你喜欢
  • 2016-01-16
  • 1970-01-01
  • 1970-01-01
  • 2020-08-20
  • 1970-01-01
  • 2018-12-13
  • 1970-01-01
  • 2017-02-02
  • 2011-10-24
相关资源
最近更新 更多