液态机器：它是如何工作的以及如何使用它？答案

【问题标题】：Liquid State Machine: How it works and how to use it?液态机器：它是如何工作的以及如何使用它？
【发布时间】：2015-04-04 07:02:45
【问题描述】：

我现在正在学习 LSM（液体状态机），并尝试了解它们是如何用于学习的。

我在网上看到的内容让我很困惑。

我会写我理解的 -> 可能不正确，如果你能纠正我并解释什么是真实的，我会很高兴：

LSM 根本没有经过训练：它们只是用许多“时间神经元”（例如 Leaky Integrate & Fire 神经元）进行初始化，而它们的阈值是随机选择的，因此它们之间的连接（即不是每个神经元）必须与其他每个神经元有共同的边缘）。
如果你想在输入I后“学习”x个时间单位，发生Y，你需要使用 LIF“检测器”“等待”x 个时间单位，并查看哪些神经元在这个特定时刻被激发。然后，您可以训练一个分类器（例如前馈网络），这个特定的激发神经元子集意味着发生了 Y。
你可能在你的“液体”中使用了许多“时间神经元”，所以你可能有许多不同的发射神经元子集，所以在你等待之后的那一刻，发射神经元的特定子集变得几乎是唯一的x 个时间单位，输入您的输入后 I

我不知道我上面写的是不是真的，还是完全是垃圾。

请告诉我这是否是 LIF 的正确用法和目标。

【问题讨论】：

标签： machine-learning neural-network

【解决方案1】：

从您的问题来看，您似乎走在了正确的轨道上。总之，液体状态机和回声状态机是处理计算神经科学和物理学的复杂主题，诸如混沌、动态动作系统、反馈系统和机器学习等主题。所以，如果你觉得很难绕过去，也没关系。

回答你的问题：

液态机器的大多数实现都使用未经训练的神经元库。已经有一些尝试训练水库，但他们没有取得巨大的成功来证明这一目标所需的计算能力是合理的。（见：Reservoir Computing Approaches to Recurrent Neural Network Training）或（The p-Delta Learning Rule for Parallel Perceptrons）

我的观点是，如果你想在模式的可分离性或泛化方面使用 Liquid 作为分类器，你可以从神经元相互连接的方式中获得更多收益（参见Hazan, H. and Manevitz, L., Topological constraints and robustness in liquid state machines, Expert Systems with Applications, Volume 39, Issue 2, Pages 1597-1606, February 2012.）或（Which Model to Use for the Liquid State Machine?）生物学方法（在我看来是最有趣的一种）（What Can a Neuron Learn with Spike-Timing-Dependent Plasticity?）
您是对的，您至少需要等到您完成输入，否则您可能会检测到您的输入，而不是由于您的输入而发生的活动。
是的，您可以想象您的液体复杂性是 SVM 中的一个内核，它尝试将数据点投影到某个超空间，而液体中的检测器作为尝试在数据集中的类别之间进行分离的部分。根据经验，神经元的数量及其相互连接的方式决定了液体的复杂程度。

关于 LIF（Leaky Integrate & Fire 神经元），在我看来（我可能是错的）这两种方法之间的最大区别在于单个单元。在液态机器使用类似生物的神经元，而在回声状态使用更多的模拟单元。因此，就“非常短期记忆”而言，液态方法中每个单独的神经元都会记住自己的历史，而在回声状态方法中，每个单独的神经元仅根据当前状态做出反应，因此记忆存储在两个神经元之间的活动中。单位。

【讨论】：

【解决方案2】：

要了解 LSM，您必须了解与 Liquid 的比较。看下图：

你随机将石头扔进水里。取决于什么种类你扔进水里的石头，还有另一波 x 个时间步后的模式。
关于这个波形你可以有关于不同宝石特征的结论
通过这种模式，您可以知道您扔了什么样的石头。

LSM 对我们的这种行为进行建模：

随机连接到神经元库的输入层。把它当成你扔进水里的石头
随机连接的神经元库。这些代表你的水，它以特定的方式与你的石头相互作用。
- 就 LSM 而言，我们有特殊的神经元（它们试图模拟真实的神经元）。它们在时间步长上添加激活，只有在达到一定数量的激活时才会触发，此外还应用了代表大脑中钠钾泵的冷却因子。
- 经过 x 个时间步长后，您将在那个时间看到一个尖峰神经元模式。
解释该模式并将其用于分类的输出层。

【讨论】：

【解决方案3】：

我只想为其他读者补充 2 点。首先，“钠钾”泵是英文钠钾泵。其次是液态机（LSM）和有限状态机（FSM）之间的关系（因为有些读者可能已经对有限状态机有所了解了）。

LSM 和 FSM 之间的关系大多只是一个类比。但是，LSM 的单元（神经元）可以单独建模为 FSM，关于它们是否触发动作电位（改变状态）。这样做的一个困难是每个单元及其邻居的状态变化的时间是不固定的。因此，当我们考虑所有单元的状态以及它们如何随时间变化时，我们会得到一个无限转移表，这将 LSM 置于转移系统的类别中，而不是 FSM（这可能有点明显）。然而，我们随后添加了线性鉴别器......这是一个简单的确定性读出层，经过训练可以在 LSM 中挑选出与所需计算相对应的模式。读出系统监视单元的子集，并且通常具有明确定义的时间规则。换句话说，它忽略了许多状态转换，只对少数几个敏感。这使它有点像 FSM。

您可能会读到 LSM 中的单元组合可以形成 FSM，这样读数就可以识别“实际上包含在其中”的 FSM。这来自一位首先将 LSM 视为计算机模型的作者（原则上您可能会阐明组成“虚拟 FSM”的单元和连接并构建一个实际的类似 FSM）。对于任何将 LSM 视为生物系统的人来说，这样的陈述可能会令人困惑，最好将读数视为以忽略高维可变性并产生可靠的方式选择和组合 LSM 特征的元素。类似低维 FSM 的结果。

【讨论】：