【问题标题】:What is the network analog of a recursive function?递归函数的网络模拟是什么?
【发布时间】:2011-09-18 23:00:44
【问题描述】:

这是 Wolfram 科学会议提出的一个雄心勃勃的问题:是否存在递归函数的网络模拟?也许是一种迭代的“map-reduce”模式?如果我们在迭代中加入交互,事情就会变得复杂:大量交互实体的持续迭代会产生非常复杂的结果。如果有一种方法可以看到定义复杂系统的无数交互的后果,那就太好了。我们能否在包含嵌套传播循环的连接节点的迭代网络中找到递归函数的对应物?

分布式计算的基本模式之一是 Map-Reduce:它可以在元胞自动机 (CA) 和神经网络 (NN) 中找到。 NN 中的神经元通过它们的突触收集信息(减少)并将其发送给其他神经元(映射)。 CA 中的细胞行为类似,它们从邻居那里收集信息(减少),应用转换规则(减少),然后再次将结果提供给他们的邻居。因此 >if

【问题讨论】:

    标签: recursion mapreduce neural-network cellular-automata


    【解决方案1】:

    我将探讨关于神经网络中递归的问题,但我真的不明白 map-reduce 是如何影响这个问题的。我知道神经网络可以执行分布式计算,然后将其简化为更本地的表示,但术语 map-reduce 是这种分布式/本地管道的一个非常具体的品牌,主要与 google 和 Hadoop 相关.

    无论如何,您的问题的简单答案是神经网络中没有递归的通用方法;事实上,在神经网络中实现通用角色-值绑定这一非常相关的简单问题目前仍然是一个悬而未决的问题。

    为什么像神经网络 (ANN) 中的角色绑定和递归这样的事情如此困难的一般原则是,ANN 在本质上是非常相互依赖的;事实上,这就是他们大部分计算能力的来源。而函数调用和变量绑定都是非常明确的操作;它们所包含的内容是全有或全无的事情,而这种离散性在许多情况下是一种有价值的属性。因此,在不牺牲任何计算能力的情况下实现一个内部另一个确实非常棘手。

    这里有一小部分论文尝试了部分解决方案。很幸运,很多人都觉得这个问题很有趣!

    视觉分割和动态绑定问题:提高人工神经网络浮游生物分类器的鲁棒性(1993 年)

    A Solution to the Binding Problem for Compositional Connectionism

    A (Somewhat) New Solution to the Binding Problem

    【讨论】:

    • 有趣的答案,虽然我不确定绑定问题与问题有什么关系。
    • 我知道 map-reduce 是一个非常具体的术语,主要与 Google 和 Hadoop 相关。我认为他们可能在分布式系统中发现了一个非常基本的东西,basic abstraction of interactive computation。在神经网络中,我们在许多层面上都有 map-reduce 模式:从底部神经元之间的信息拉伸和折叠,中间神经组件的合并和分裂,到收集信息并将其缩减为顶部的决策。它有一些非常基本的东西。
    猜你喜欢
    • 2017-02-12
    • 2019-06-16
    • 1970-01-01
    • 2021-03-20
    • 1970-01-01
    • 1970-01-01
    • 2020-08-23
    • 1970-01-01
    • 2017-07-07
    相关资源
    最近更新 更多