Numenta的论文定义的HTM皮层学习算法是否受到欧几里得几何的限制？

Question

具体来说，他们最近的实现。

http://www.numenta.com/htm-overview/htm-algorithms.php

本质上，我问的是非欧几里得关系，或超过输入维度的模式关系，是否可以通过算法在其当前状态下有效地推断出来？

HTM 在分析模式时使用欧几里得几何来确定“邻域”。一致的框架输入使算法表现出预测行为，并且序列长度实际上是无限的。这个算法学得很好——但我想知道它是否有能力从输入数据中推断出非线性属性。

例如，如果您从 Project Gutenberg 输入整组文本，它会选择一组概率规则，这些规则包括英语拼写、语法和主题中显而易见的特征，例如性别关联词等。这些是第一级“线性”关系，可以很容易地用逻辑网络中的概率来定义。

非线性关系是假设和含义的关联，例如“时光如箭，果蝇如香蕉”。如果框架正确，句子的歧义会导致句子的预测解释产生许多可能的含义。

如果算法能够“理解”非线性关系，那么它将能够处理第一个短语并正确识别“Time flies”是在谈论时间做某事，而“fruit flies”是一种错误.

这个问题的答案可能很容易找到，但我无法决定任何一种方式。将输入映射到统一的二维欧几里得平面是否会排除数据非线性属性的关联？

如果它不能阻止非线性关联，那么我的假设是您可以简单地改变分辨率、重复和其他输入属性来自动发现非线性关系 - 实际上，添加一个“更努力思考”的过程算法。

Answer 1

根据我对 HTM 的理解，层和列的结构模仿了新皮质的结构。请参阅此处的附录 B：http://www.numenta.com/htm-overview/education/HTM_CorticalLearningAlgorithms.pdf

所以简短的回答是，既然大脑可以理解这种结构的非线性现象，那么 HTM 也可以。

最初的瞬时感官输入确实映射到 HTM 内的二维区域。这并不限制 HTM 处理 2D 表示，正如一维比特串仅限于表示一维事物。这只是一种编码方式，以便可以形成稀疏的分布式表示并利用它们的效率。

要回答您关于古腾堡计划的问题，我认为如果不首先了解语言所基于的物理世界并为其创建符号，HTM 将无法真正理解语言。也就是说，对于 HTM 来说，这是一个非常有趣的序列，因为预测只在一个方向上进行，并且在某种程度上，对水果发生的事情的理解是倒退的。即，我看到“像 a 一样飞行”的模式，并假设该短语适用于水果，就像它适用于时间一样。 HTM 将后续输入（在本例中为单词）在更高级别上组合在一起，因此如果您使用模糊分组（也许）正如 Davide Maltoni 所证明的那样有效，则句子的两半可以组合成相同的高级表示并且反馈可以向下发送链接两个特定的句子。 Numenta，据我所知，还没有对反馈信息做太多，但这绝对是理论的一部分。

Answer 2

是的，它可以做非线性。基本上它是多层的。并且所有多层神经网络都可以推断出非线性关系。而且我认为邻域是本地计算的。如果它是在本地计算的，那么在全局范围内它可以是分段非线性的，例如查看 Local Linear Embedding。

Answer 3

是的，HTM 使用欧几里得几何来连接突触，但这仅仅是因为它模仿了一种生物系统，该系统发出树突并与附近其他在那个时间点具有强烈激活的细胞建立连接。

皮层学习算法 (CLA) 非常擅长预测序列，因此它可以很好地确定“Time flies like a arrow, fruit flies like a”，如果之前遇到过这个序列或其他什么，它会预测“banana”靠近它。我不认为它可以推断果蝇是一种昆虫，除非你在那个序列上训练它。因此 T 代表时间。 HTM 是序列关联压缩器和检索器（一种记忆形式）。要从 HTM 中获取模式，您可以在序列中播放，它将匹配迄今为止遇到的最强表示并预测序列的下一位。它似乎在这方面做得很好，目前 HTM 的主要应用是预测数据流中的序列和异常。

为了获得更复杂的表示和更多的抽象，您可以将经过训练的 HTM 输出级联到另一个 HTM 输入以及一些其他新的基于序列的输入以进行关联。我想你可以输入一些反馈并做一些其他技巧来组合多个 HTM，但你首先需要对原语进行大量培训，就像婴儿一样，然后才能获得像基于语法关联概念这样复杂的东西文字。

Answer 4

好吧，伙计们，别傻了，htms 只是将数据复制到其中，如果你想要一个概念，它将是一组数据，然后你可以让电机依赖于关系，然后一切正常。

我们的皮层可能要好得多，并且实际上会生成新的图像，但是计算机皮层不会，但碰巧，这并不重要，而且它已经非常有用了。

但从数据池中提取概念很棘手，最简单的方法是记录其感官的不变组合，当它出现时，将其他所有内容与它相关联，这将为您提供类似有机体或动物的信息智能。

绘制更复杂的关系，这是人类所做的，它的特殊逻辑，想象一个解释最特殊关系的集合，然后它慢慢变得越来越具体，直到它得到精确的运动程序......以及所有你所拥有的知识是控制你的运动，建立触发皮层通路的关系，并告诉它去哪里，从检查所有运动的爆炸搜索中找到最成功的触发器。

哇，那是满嘴的，但是当心傻瓜，你不会从预测同化器那里得到任何概念，这就是 htm，除非你弄清楚人们是如何在数据池中绘制关系的，就像一台机器，如果你这样做，它就像一个程序自己编程。

没关系。

Answer 5

运行 HTM 的软件称为 NuPIC（Numenta 智能计算平台）。 NuPIC 区域（代表新皮质区域）可以配置为使用或不使用拓扑，具体取决于它接收的数据类型。

如果您使用拓扑，通常的设置会将每列映射到以输入空间中相应位置为中心的一组输入（连接将根据有利于中心的概率分布随机选择）。 NuPIC 的空间模式识别组件，称​​为 Spatial Pooler (SP)，然后将学习识别和表示数据中的局部拓扑特征。

NuPIC 可以学习的输入数据的“线性”绝对没有限制。 NuPIC 可以在极高维空间中学习空间模式序列，并且仅受数据中存在（或不存在）时空结构的限制。

要回答您问题的特定部分，是的，NuPIC 可以学习非欧几里得和非线性关系，因为 NuPIC 不是，也不能由线性系统建模。另一方面，从逻辑上推断超出数据维度的关系似乎是不可能的。

了解 HTM 和 NuPIC（其开源实现）的最佳位置是 NuPIC 的 community website（和邮件列表）。