了解神经网络层、节点和点积

Question

我通读了这个页面：http://neuralnetworksanddeeplearning.com/chap1.html，以更好地了解神经网络的工作原理。我想用 Java 创建一个没有反向传播或训练的简单前馈网络。

我不清楚的是网络中每一层的每个“神经元”所涉及的数学。假设我有三层。第一层采用大小为 100 的输入向量。这是否意味着我的第一层将有 100 个神经元？这是否也意味着每个神经元的输入将是所有 100 个输入的总和乘以权重？这是我的神经元激活函数的输入之和吗？

在本章中提到，神经元/感知器的所有输入的总和可以重新表述为输入 (x) 和权重 (w) 的点积。我可以将它们视为两个独立的向量，它们的点积给了我 x1w1 x2w2 x3w3 .. 等，但是 x1w1 + x2w2 + .. 的总和如何仍然等于点积？

最后，如果一个层应该有 100 个输入和 1000 个输出，这是否意味着该层实际上将有 1000 个神经元，每个神经元需要 100 个输入？那么该层每个神经元输出 1 个值，从而给出 1000 个输出？

如果这些问题完全不正确或无关紧要，我提前道歉，我已经在网上阅读了一些文件，这是我目前的理解，但如果不询问真正了解它的人，很难验证。如果您有其他有用的资源或视频，我们将不胜感激。

Answer 1

这是我在 stackOverflow 中的第一个答案，所以请放轻松。

如果我对您的问题的理解是正确的，那么您想知道人工神经元背后的数学是如何工作的。神经元由下表所示的 5 个组件组成。 （下标 i 表示第 i 个输入或权重。）

1. 一组输入，xi。
2. 一组权重，wi。
3. 一个阈值，你。
4. 激活函数，f.
5. 单个神经元输出，y。

人工神经元的结构相当简单。

使用单位步长激活函数，您可以确定将产生以下分类的一组权重（和阈值）： Click to view classification

看数字 4。激活函数 f。许多不同的功能可以发生，身份功能是最简单的。

神经元输出 Y，是对输入的加权和应用激活函数的结果，减去阈值。

此值可以是离散的或实数，具体取决于所使用的激活函数。

Here's 包含特定函数 F 的 Y 的输出。

一旦计算出输出，就可以将其传递给另一个神经元（或一组神经元）或由外部环境采样。神经元输出的解释取决于所考虑的问题

@Seephore

原则上，可以在人工神经网络中使用的隐藏层的数量没有限制。可以使用“堆叠”或深度学习文献中的其他技术来训练此类网络。是的，你可以有 1000 层，但我不知道你是否会得到很多好处：在深度学习中，我更常见的是 1-20 个隐藏层，而不是 1000 个隐藏层。在实践中，层数基于实际问题，例如，在合理的训练时间和不过度拟合的情况下，什么会导致良好的准确性。

你在问什么： 我假设您的意思是说 100 个输入和 1000 个输出？ 当输入接受加权值时，其输出将其提供给下一层中的所有其他节点（神经元），但该值仍来自给定节点。

有很多关于 Java 的“愿望洗涤”书籍，但如果你真的想深入了解，请阅读 This