神经网络如何提取特征

Question

我是神经网络的新手。我在很多平台上都遵循了一些教程，但有一件事我不明白。

在一个简单的多层感知器中： 我们有输入层、本例的隐藏层（与输入层具有相同数量的神经元）和一个具有一个单元的输出层。

我们随机初始化隐藏层中单元的权重，但在一个较小的值范围内。 现在，输入层与隐藏层完全连接。 所以隐藏层中的每个单元都将接收相同的参数。他们将如何从彼此中提取不同的特征？

感谢解释！

Answer 1

我们随机初始化隐藏层中单元的权重，但在 一系列小值。现在，输入层与 隐藏层。所以隐藏层中的每个单元都会收到 相同的参数。他们将如何提取不同的特征 彼此？

实际上每个神经元不会有相同的值。要获得隐藏层的激活，您使用矩阵方程Wx + b 在这种情况下，W 是形状的权重矩阵（隐藏大小，输入大小）。 x 是形状隐藏层的输入向量（Input Size），b 是形状的偏差（Hidden Size）。这会激活形状（隐藏大小）。因此，虽然每个隐藏的神经元都会“看到”相同的 x 向量，但它会将 x 的点积与自己的随机行向量相加，并添加自己的随机偏差，这将赋予该神经元不同的值。 W矩阵和b向量中包含的值是经过训练和优化的。由于他们有不同的起点，他们最终会通过梯度体面学习不同的特征。