机器学习优化算法分类

Question

机器学习优化算法有哪些分类？ 在某些地方，它提到优化算法分为两大类 -

    First Order Optimization Algorithms and second order Optimization Algorithms

有些人还主要将其归类为-

    Convex Optimization and Non-Convex Optimization

而其他人也认为它是-

    Constrained and Unconstrained Optimization

在所有这些分类之后，我似乎无法理解什么属于什么类别，如果存在，请务必将我指向任何相同的分类树。

Answer 1

您无法根据您提供的类别制作树。

First Order Optimization Algorithms and second order Optimization Algorithms

通过算法是否仅在优化方法中使用一阶导数来区分算法。这是算法本身的一个特点。

Convex Optimization and Non-Convex Optimization

区分优化的目标是找到凸函数还是非凸函数的最小值。所以这是问题函数被优化的一个特征。一般来说，优化凸函数比优化非凸函数更容易。

Constrained and Unconstrained Optimization

只是告诉你在你尝试优化的函数的参数中是否有任何约束。这是你试图解决的问题的一个特征。一般来说，有约束的问题比无约束的问题更容易解决。

这些东西并不相互排斥。例如，您可以尝试使用一阶优化算法最小化没有约束的非凸函数。您还可以查看受约束的非凸函数并尝试使用二阶算法将其最小化。