【问题标题】:Python: numpy memmap in parallelPython:并行的numpy memmap
【发布时间】:2020-10-10 07:32:32
【问题描述】:

跨多核 (MPI) 使用 numpy 的 memmap 有意义吗?

我在磁盘上有一个文件。

我可以在每个内核上创建一个单独的 memmap 对象,并使用它从文件中读取不同的切片吗?

给它写信怎么样?

【问题讨论】:

标签: python numpy parallel-processing mpi memmap


【解决方案1】:

Q“跨多核 (MPI) 使用 numpy 的 memmap 有意义吗?”

是的(......即使没有 MPI,也只使用 Python 原生 { thread- | process-}-based 并发处理形式)

Q“我可以在每个核心上创建一个单独的memmap-object,并使用它从文件中读取不同的切片吗?”

是的。

Q“给它写信怎么样?”

同样的(当然,如果在可写模式下打开...)

【讨论】:

    猜你喜欢
    • 2012-05-27
    • 1970-01-01
    • 1970-01-01
    • 2018-01-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多