在神经网络的背景下，“稀疏”是什么意思？

Question

我看到“稀疏”和“稀疏”的使用方式表明它可以提高模型的准确性。例如：

我认为无监督阶段可能并不那么重要，如果一些 使用稀疏连接或神经元，例如整流器单元或 卷积连接，大训练数据可用。

来自https://www.quora.com/When-does-unsupervised-pre-training-improve-classification-accuracy-for-a-deep-neural-network-When-does-it-not

在这种情况下，“稀疏”是什么意思？

Answer 1

TL;DR：稀疏性意味着大部分权重为 0。这可以提高空间和时间效率。

---

详细版：通常，神经网络表示为张量。每一层神经元都由一个矩阵表示。矩阵中的每个条目都可以被认为是两个神经元之间连接的代表。在一个简单的神经网络中，就像经典的前馈神经网络一样，给定层上的每个神经元都连接到下一层上的每个神经元。这意味着每一层必须有 n² 个连接表示，其中 n 是两个层的大小。在大型网络中，这可能需要大量内存和时间来传播。由于神经网络的不同部分通常处理不同的子任务，因此每个神经元都不必连接到下一层的每个神经元。事实上，对于神经网络来说，拥有大多数连接权重为 0 的神经元对可能是有意义的。训练神经网络可能会导致这些不太重要的连接权重采用非常接近 0 的值，但如果满足以下条件，则准确性不会受到显着影响这些值正好是 0。

大多数条目为 0 的矩阵称为稀疏矩阵。如果矩阵足够大和稀疏，则可以更有效地存储这些矩阵，并且可以更有效地对其进行某些计算。通过假设大多数连接权重等于 0，神经网络可以利用从稀疏性中获得的效率。

我必须说，神经网络是一个复杂而多样的话题。使用的方法很多。与我上面提到的简单层连接相比，某些类型的神经网络具有不同的形态。由于矩阵对于神经网络表示相当普遍，因此可以在多种类型的神经网络中利用稀疏性。