【问题标题】:Python function: return an array without additional memory allocationsPython函数:返回一个没有额外内存分配的数组
【发布时间】:2018-07-25 20:28:12
【问题描述】:

假设我想做一个函数,将输入向量乘以输入矩阵:

def MatMul(A,b):
    return A.dot(b)

现在,我执行以下代码:

import numpy as np
A=np.array([[1,2,3],[4,5,6],[7,8,9]],dtype='float64')
b=np.array([4,5,6],dtype='float64')
c=np.zeros(3,dtype='float64')
c=MatMul(A,b)

MatMul 函数内部会有额外的数组分配吗?我知道Ab 将通过引用传递。请注意,我已经预先分配了数组c

一般来说,如何避免在这样的简单函数中进行不必要的预分配?说,我想执行几个数学运算:

def Rank1Update(A,b,alpha):
    c=A.dot(b)
    c+=alpha*c.dot(c)*c
    return c

我可以在 1 行中拟合许多数学函数,但代码很快变得不可读。

我熟悉 C 风格的编程,为了避免不必要的内存分配,可以通过引用传递 Abc,并在返回 void 的函数中更新 c。我可以在 python 中做同样的事情,但为了方便和代码可读性,我想使用return

谢谢,

米哈伊尔

【问题讨论】:

  • 当你写c=MatMul(A,b)时,c之前的值不可能对结果产生任何影响 - 函数无法知道要做什么及其返回值。

标签: python function numpy pass-by-reference


【解决方案1】:

Numpy 在其大多数生成新数组的函数中,都有一个参数来存储结果数组。我在下面的代码中使用了该参数的名称版本out,但您可以省略名称。您必须确保out 数组具有正确的形状和数据类型。这个参数的目的正是你想要的——避免额外的内存分配。这也可以加快代码速度。

import numpy as np
A = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]], dtype='float64')
b = np.array([4, 5, 6], dtype='float64')
c = np.zeros(3, dtype='float64')

A.dot(b, out=c)

documentation for dot() 中提到了该参数。如果要更改函数MatMul的定义,

def MatMul(A, b, c=None):
    return A.dot(b, out=c)

并将调用更改为

MatMul(A, b, c)

【讨论】:

  • 感谢您的回答。是否可以以一种可以调用它c=MatMul(A,b) 且无需额外内存分配的方式定义一个函数?
  • @MikhailGenkin:不是这样。生成的矩阵可能与Ab 具有不同的形状,并且可能大于两者(例如将3x1 数组乘以1x3 数组并得到3x3 数组)。函数MatMul 不知道将结果放在哪里,无论是在内存中还是将其绑定到一个名称以表示结果,甚至可能没有空间将结果存储到输入参数数组之一中。我能看到的唯一方法是在函数中使用全局变量,这是不好的编程风格。为什么不想改变函数的调用方式?
  • c=MatMul(A,b) 看起来比MatMul(A,b,c) 更直观和优雅(在我看来)。但是,您建议的解决方案也很有效
  • @MikhailGenkin:我同意赋值比带有 out 参数的函数调用更直观和优雅,但是编程充满了权衡。我认为没有什么好办法可以避免在优雅与内存分配之间进行权衡。
  • 再问1个问题:在C语言中还有另一种解决方案:如果一个函数足够简单,可以将其设为内联函数(这意味着编译器将获取一个函数体并将其替换为函数所在的每个位置叫做)。是否有可能在 Python 中使用 lambda 函数来实现这个技巧?
【解决方案2】:

dot 不知道也不关心c 变量或该变量已经引用的数组。它将创建一个新数组,= 会将c 变量绑定到该新数组,让内存管理系统清理旧数组。

如果您希望dot 将输出存储到现有数组中,您需要告诉它这样做:

A.dot(b, out=c)

【讨论】:

  • 感谢您的回答!函数和返回呢?是否可以在没有额外内存分配的情况下返回数组?或者我应该使用 C 风格的编码:def MatMul(A,b,c) 我通过引用将所有三个数组传递给函数?
  • @MikhailGenkin:您希望调用者向函数传达一些信息——特别是在哪里写入结果。返回值不允许在该方向进行通信。
  • 谢谢!我怀疑是这样。所以,我想,正如上面的答案所建议的,唯一可能的方法是 C 风格的编程:通过引用传递 A、b 和 c 并修改 c 内部函数
猜你喜欢
  • 2017-12-13
  • 2012-02-01
  • 1970-01-01
  • 2012-10-29
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-09-21
相关资源
最近更新 更多