使用 theano 在逻辑回归中广播共享变量

Question

我目前正在通过 theano tutorial 进行逻辑回归，非常类似于这篇文章中讨论的内容： what-does-negative-log-likelihood-of-logistic-regression-in-theano-look-like。但是，原来的tutorial 使用共享变量 W 和b，以及一个称为输入 的矩阵。输入是n x n_in 矩阵，W 是n_in x n_out，b 是n_out x 1 列向量。

    self.W = theano.shared(
        value=numpy.zeros(
            (n_in, n_out),
            dtype=theano.config.floatX
        ),
        name='W',
        borrow=True
    )

    self.b = theano.shared(
        value=numpy.zeros(
            (n_out,),
            dtype=theano.config.floatX
        ),
        name='b',
        borrow=True
    )

    self.p_y_given_x = T.nnet.softmax(T.dot(input, self.W) + self.b)

现在，据我从共享变量的文档中了解到，共享变量的广播模式默认为 false。那为什么这行代码没有因为尺寸不匹配而抛出错误呢？

self.p_y_given_x = T.nnet.softmax(T.dot(input, self.W) + self.b)

毕竟，我们将矩阵T.dot(input, self.W) 添加到向量b。毕竟默认情况下共享变量会广播吗？即使有广播，维度也不会加起来。 T.dot(input, self.W) 是 n x n_out 矩阵和 b 是 n_out x 1 向量。

我错过了什么？

Answer 1

默认情况下共享变量是不可广播的，因为它们的形状可以改变，但是，当请求像向矩阵添加标量、向矩阵添加向量等操作时，Theano 会使用张量进行必要的广播。查看documentation 了解更多详情。 请注意，input 是符号变量而不是共享变量。如果self.W 的第二维即 n_out 与向量b 的第一维不同，则会发生尺寸不匹配，这里不是这种情况，所以它们完美地相加，是一样的在 numpy 中也是如此：

import numpy as np
a = np.asarray([[1,2,3],[4,5,6],[7,8,9],[10,11,12]])
b = np.asarray([1,2,3])
print(a + b)