如何设计一个不做输入分类的无监督神经网络？

Question

我已经阅读了很多关于针对特定输出值工作的神经网络，但我还没有看到无监督网络针对不太具体的目标进行优化（例如最小化成本，但我们不知道理想值是什么样的)。

让我们讨论一个具体的例子：

考虑到Travelling salesman problem 有轻微的扭曲：

• 虽然城市之间的旅行成本是固定的，但它不能再作为输入的一部分。成本可以从外部子系统按需读取，并且仅在每个 epoch 结束时的成本函数中可用。
• 我们没有训练数据（我们不知道理想的解决方案是什么样的）。

谁能提供一个高级设计来解决这个问题？我正在寻找类似于https://stackoverflow.com/a/42516959/14731的东西。

我担心相对于目标成本为零来最小化成本函数，因为下降梯度会比已知理想解决方案时的梯度高得多。

Answer 1

从您使用的词语和提供的参考资料来看，您似乎正在考虑深度学习和反向传播，但我建议您考虑神经进化。

简而言之，神经进化在连续迭代中创建了一个候选解决方案池。它只要求您可以根据候选人的前景或成功程度对他们进行排序。在您的旅行推销员问题中，我们知道时间越短越好，这样可以轻松地对我们的候选人进行分类。然后创建新一代候选人，以旧候选人为父母，您名单上的父母将有更大的机会生育后代。

NEAT 是一种常用算法，并且有多种语言版本。

对于更具欺骗性的问题，novelty search 是个好主意。

要明确一点：神经进化不使用反向传播，但确实使用了神经网络。找到适用于给定任务的神经网络是一种不同的方法。

Answer 2

好问题，吉利。

嗯，ANN 近年来确实获得了不合理的巨大“人气”。今天，如果某些新产品/流程/初创公司没有声称其背后有 AI 或至少是神经网络，那么它在流行媒体的流动中有点味道。现实是另一回事。

经典 ANN 只不过是一个最小化驱动工具，它本身的真正智能为零，它只是遵循tanh() / sigmoid() 剂量的“类固醇”的线性代数规则，添加-关于非线性变换。

你问一个问题，那就是自我进化——这非常有趣

外部的自适应反射（延迟的事后奖励）需要一种方法来执行网络权重的自我实现。这是遗传启发系统（Koza 等人）在进化计算系统中推广了几十年的东西。

然而，最近人们认识到一些温和的尝试来促进 ANN 内部的某种微不足道的自我实现，增加了一个预期的（更好的“预接线”，c/f 遗传启发系统推测多态多元试验与 ex -选择的后期阶段，由“预定义的”最佳拟合度驱动）不仅重新安排它自己的轴突权重，而且还有它自己的拓扑结构——重新连接神经连接（当然，以更低的方式水平/方式更弱效用（非）相关的自我实现 - 参考同样，在更高的抽象层次上，马斯洛促进了需求层次）。

我敢说，在这个领域数十年之后，ANN 工具（用“深度”标签美化它们（增加可能的内部状态的“表现力”（一旦在某种合理的范围内可计算） [PTIME,PSPACE]-constrained system ），不是该想法的任何主要新出现的属性）或“卷积”（内核化变换有意模糊细节以允许更好的数值（不是诺斯替的）“泛化”）只是代数绑定 成为一种装备精良的有限状态自动机的角色，为寻找错误最少的答案而量身定制，给定串联 [ penalty-function, so-far-visited-part-of-empiric-experience ] -- 已预先调整 strong>（已调整）目前已知数量的 { example: answer } 对观察到的经验经验。

ANN 的答案可以说出最少的错误 WHAT（为此它严格期望，通过愚蠢的“代数硬连线信念的外推”，游戏规则没有改变，以得到最小的伤害（预先固定从以前收集经验）惩罚，基于之前的[ penalty-function, so-far-visited-part-of-empirics ]，但从来没有为什么，因此总是会（不知不觉，这不是借口，而是一个明确接受的事实，它不能做任何其他事情在这个方向上）在这些变化或转变到另一种模式的情况下（参考（超）混沌系统的 Lyapunov 系数，所有复杂系统）提供的“答案”“神秘”你（在代数上最好地固定）本质上是...）：

• penalty-function 修改（最小化者的规则正在改变游戏！）
• 观察到experience（无论是看到越来越多的“刚刚”漂流，还是看到{ example: answer }对的全新“品种”）

---

是的，您可以重新表达愿景并生成进化人工神经网络，

但是这样做，你处于非常边缘，恕我直言，没有工具存在，所以你首先进入了很深的雪。

非常有趣，因为您定义了新规则，但也非常苛刻和挑战了许多对手。

含义 - 你几乎无法使用任何“硬连线”-ANN 工具包，所以确实是一片处女地和巨大的挑战摆在你面前，伙计。

---

我个人的猜测是，如果尝试使用某种预制的抽象-[神经网络]-组件工厂来增强高性能进化计算工具，并且如果您当前的研究项目预算和[PTIME,PSPACE] - 计算织物的性能范围允许 - 可以享受进化驱动的适应能力增长的力量，这使得在 中最好的少数几个最好的多样性中生存下来不断增长的人口获得“保持最佳的诀窍（活着）”。

确实是很大的挑战。

_{（即使你会欺骗大自然之母——（我们还没有找到更好的大师来学习和吸取教训，对吧？）}