【问题标题】:Neural Network Structure [closed]神经网络结构
【发布时间】:2010-10-03 06:38:48
【问题描述】:

我目前正在构建一个神经网络库。为简单起见,我将其构建为对象图。我想知道是否有人可以量化采用基于数组的方法的性能优势。我现在所拥有的对于构建接近任意复杂性的网络非常有效。支持常规(反向支持)网络以及循环网络。我正在考虑将训练有素的网络“编译”成一些“更简单”的形式,例如数组。

我只是想看看有没有人有任何实用的建议或经验来构建可以很好地部署到生产中的神经网络。让最终产品基于数组而不是基于对象图有什么好处?

P.S 内存占用不如速度重要。

【问题讨论】:

    标签: machine-learning neural-network


    【解决方案1】:

    无论你如何实现它,你都不能忘记:

    http://xkcd.com/534/

    【讨论】:

      【解决方案2】:

      人们已经开始在 AI 中使用 GPGPU 技术,让您的神经网络采用矩阵形式可以利用典型显卡中更快的矩阵运算。

      【讨论】:

      • 我已经考虑过了,但是我们的集群目前没有任何 GPU。我计划在未来实现这一点,以使人们相信我们的集群中需要一些 GPU
      【解决方案3】:

      我没有任何编写此类库的个人经验,但我可以将您链接到一些您可以从中学习的流行开源项目。 (我个人只会使用这些现有库之一。)

      【讨论】:

        【解决方案4】:

        这一切都取决于您使用的语言 - 我假设您使用的是 C 衍生语言。

        在我的实现中,我发现对象图方法要优越得多。在速度上有一些折衷,但易于维护胜过对象查找调用。这一切都取决于您是在寻找训练速度还是求解速度......我假设您最担心的是训练速度?

        如果需要,您始终可以对某些对象调用问题进行微优化。

        考虑到您对网络进行子网划分的次要动机,我认为基于对象更为重要 - 它可以更轻松地提取部分工作。

        【讨论】:

          【解决方案5】:

          已经有一段时间了,但我记得速度通常只是神经网络训练期间的一个问题。

          【讨论】:

            猜你喜欢
            • 2016-11-13
            • 1970-01-01
            • 2019-05-18
            • 2020-09-29
            • 2015-03-13
            • 1970-01-01
            • 1970-01-01
            • 1970-01-01
            相关资源
            最近更新 更多