【问题标题】:Can a neural network be used to find a functions minimum(a)?可以使用神经网络来找到函数最小值(a)吗?
【发布时间】:2010-10-13 17:30:51
【问题描述】:

我对神经网络有一点兴趣,并考虑在 python 中使用一个用于比较时域中的各种最小化技术的轻型项目(这是最快的)。

然后我意识到我什至不知道神经网络是否有利于最小化。你怎么看?

【问题讨论】:

  • 我正在查看蛮力阵列扫描、模拟退火和 Migrad 最小化在根中构建的 Minuit 的比较。

标签: python artificial-intelligence neural-network minimization


【解决方案1】:

在我看来,这是一个比神经网络更适合genetic algorithms 的问题。神经网络往往需要解决一个有界问题,需要针对已知数据进行训练等 - 而遗传算法的工作原理是在不需要训练的情况下找到问题的更好和更好的近似解决方案。

【讨论】:

  • 如果(训练)数据具有特征形式,那么它可以证明是一个好方法,但这是一些假设......
  • PSO(粒子群优化)和 ACO(蚁群优化)也是 GA 的选项。
  • 您好,请您看一下这个问题stackoverflow.com/q/69488491/12850614我觉得您可以提供帮助,谢谢!
【解决方案2】:

反向传播通过最小化错误来工作。但是,您可以真正最小化您想要的任何东西。因此,您可以使用类似反向支持的更新规则来找到最小化输出的人工神经网络输入。

这是一个大问题,很抱歉简短的回答。我还应该补充一点,与更成熟的方法相比,我建议的方法听起来效率很低,并且只能找到局部最小值。

【讨论】:

    【解决方案3】:

    反向传播神经网络的训练过程通过最小化最佳结果的误差来工作。但是让一个训练有素的神经网络找到一个未知函数的最小值会非常困难。

    如果您将问题限制在特定的函数类,它可以工作,而且速度也很快。神经网络擅长发现模式(如果有的话)。

    【讨论】:

      【解决方案4】:

      虽然这对于这个问题的作者来说有点太晚了。 也许有人想测试一些优化算法,当他读到这个时......

      如果您正在使用机器学习中的回归(NN、SVM、多元线性回归、K 最近邻)并且想要最小化(最大化)您的回归函数,实际上这是可能的,但此类算法的效率取决于您正在搜索的区域的平滑度(步长...等)。

      为了构建这样的“机器学习回归”,您可以使用scikit- learn。你必须训练和验证你的 MLR Support Vector Regression。 (“适合”方法)

      SVR.fit(Sm_Data_X,Sm_Data_y)
      

      然后您必须定义一个函数,该函数返回对数组“x”的回归预测。

      def fun(x):
          return SVR.predict(x)
      

      您可以使用scipiy.optimize.minimize 进行优化。请参阅文档链接后面的示例。

      【讨论】:

        【解决方案5】:

        它们的目的非常糟糕;神经网络的一大问题是它们陷入局部最小值。您可能想研究支持向量机。

        【讨论】:

        • 对不起,这是一个大脑错字。支持向量机就是我想说的。我没有比维基百科更好的参考资料了。
        【解决方案6】:

        实际上,您可以使用 NN 来找到函数最小值,但它最好与 Erik 提到的遗传算法结合使用。

        基本上 NN 旨在找到与函数局部最小值或最大值相对应的解决方案,但这样做非常精确(评论 Tetha 答案说明 NN 是分类器,如果说数据输入是最小的,您可以使用它与否)

        相比之下,遗传算法倾向于从可能的整个输入范围中找到更通用的解决方案,然后为您提供近似结果。

        解决方案是结合两个世界

        1. 从遗传算法中获取近似结果
        2. 使用该结果通过 NN 找到更精确的答案

        【讨论】:

          【解决方案7】:

          您可以教 NN 逼近一个函数。如果一个函数是可微的,或者你的神经网络有多个隐藏层,你可以教它给出一个函数的导数。

          例子:

          You can train  a 1 input 1 output NN to give output=sin(input)
          
          You can train it also give output=cos(input) which is derivative of sin()
          
          You get a minima/maxima of sin when you equate cos to zero.
          
          Scan for zero output while giving many values from input. 0=cos() -> minima of sin
          

          当你达到零输出时,你知道输入值是函数的最小值。

          训练花费更少,清零花费很长时间。

          【讨论】:

            【解决方案8】:

            神经网络是分类器。它们将两类数据元素分开。他们(通常)通过预先分类的数据元素来学习这种分离。因此,我说:不,除非您在断裂后进行大范围拉伸。

            【讨论】:

            • 神经网络是示例插值器,可用于分类等。在某些情况下,使用神经网络逼近一个函数,然后找到逼近的最小值是合理的做法。
            猜你喜欢
            • 2021-05-20
            • 2013-08-03
            • 2019-07-02
            • 2020-02-29
            • 2014-02-03
            • 1970-01-01
            • 2020-11-01
            • 2014-04-12
            • 2021-08-24
            相关资源
            最近更新 更多