用 Scipy 检查梯度

Question

我想使用scipy.optimize.check_grad 来检查我对sigmoid function 的实现的梯度；这是我的 Python 函数：

def sigmoid(x, gradient=False):
    y = 1 / (1 + numpy.exp(-x))
    return numpy.multiply(y, 1 - y) if gradient else y

这里是参数和对check_grad的调用：

x0 = numpy.random.uniform(-30, 30, (4, 5))
func = sigmoid
grad = lambda x: sigmoid(x, gradient=True)
error = scipy.optimize.check_grad(func, grad, x0)

我收到以下错误。形状不匹配是指操作xk+d。知道是什么原因造成的吗？

文件“scipy\optimize\optimize.py”，第 597 行，在 approx_fprime
grad[k] = (f(*((xk+d,)+args)) - f0) / d[k]
ValueError: 操作数不能与形状一起广播 (4,5) (4)

Answer 1

你得到的错误是因为check_gradient 只接受点的平面数组。如果您使用形状为(20,) 而不是(4, 5) 的数组x0，它应该可以工作。但事实并非如此！

这是approx_fprime在我的安装中的实现（scipy.__version__ = '0.9.0'）：

def approx_fprime(xk,f,epsilon,*args):
    f0 = f(*((xk,)+args))
    grad = numpy.zeros((len(xk),), float)
    ei = numpy.zeros((len(xk),), float)
    for k in range(len(xk)):
        ei[k] = epsilon
        grad[k] = (f(*((xk+ei,)+args)) - f0)/epsilon
        ei[k] = 0.0
    return grad

我已经看了好几遍，很难相信这么糟糕的代码会在 scipy 发行版中，我确信我一定遗漏了一些东西......但我担心它是错误的。如果您将其替换为：

def approx_fprime(xk,f,epsilon,*args):
    return (f(*((xk + epsilon,) + args)) - f(*((xk,) + args))) / epsilon

它现在对我有用。使用x0.shape = (20,) 我得到：

In [2]: error
Out[2]: 1.746097524556073e-08

还有x0.shape = (4, 5):

In [4]: error
Out[4]: 
array([  1.03560895e-08,   1.45994321e-08,   8.54143390e-09,
         1.09225833e-08,   9.85988655e-09])

所以它似乎真的没有为其他地方的非平面数组做好准备。但无论哪种方式，实现都非常糟糕：您应该提交错误报告。