【发布时间】：2022-01-11 01:22:34
【问题描述】：
这些天我正在研究非凸优化，我想到了一个关于非凸优化在深度学习中的应用的问题。如何确定我们的目标函数是凸函数？谢谢
【问题讨论】：
标签： optimization deep-learning gradient-descent non-convex
【发布时间】：2022-01-11 01:22:34
【问题描述】：
标准定义是如果 f(θx + (1 − θ)y) ≤ θf(x) + (1 − θ)f(y) for 0≤θ≤1 并且 x,y 的域也是凸的.
所以如果你能证明你的函数，你就会知道它是凸的。
在深度学习中，很难确定你的目标函数是非凸函数，这就是初始化和超参数调整变得非常重要的原因
【讨论】：
-
对，我们总是可以看看优化器的行为，例如成本函数与迭代，也可以玩超参数，但我们能确定最终的解决方案是最好的吗？