【发布时间】:2018-01-26 12:27:36
【问题描述】:
与线性回归和逻辑回归不同,人工神经网络成本函数不是凸函数,因此容易受到局部最优的影响。谁能提供一个直觉来解释为什么人工神经网络会出现这种情况以及为什么不能修改假设以产生凸函数?
【问题讨论】:
标签: neural-network mathematical-optimization convex cost-based-optimizer
与线性回归和逻辑回归不同,人工神经网络成本函数不是凸函数,因此容易受到局部最优的影响。谁能提供一个直觉来解释为什么人工神经网络会出现这种情况以及为什么不能修改假设以产生凸函数?
【问题讨论】:
标签: neural-network mathematical-optimization convex cost-based-optimizer
我在这里找到了足够的解释:
https://stats.stackexchange.com/questions/106334/cost-function-of-neural-network-is-non-convex
基本上,由于权重在各层之间是可置换的,因此任何最小值都有多种解决方案可以达到相同的结果,因此该函数不能是凸函数(也不能是凹函数)。
【讨论】: