NFL没有免费午餐定理推导

没有免费午餐定理：任何算法在出训练集以外的样本空间预测误差的期望都是相同的

定理推导见下图

可以看到误差与算法无关。

但是NFL定理有一个重要前提，所有问题出现的机会相同，或所有问题同等重要。

所以在脱离具体问题，考虑所有潜在问题的前提下，所有学习算法都一样好。

实际上我们只关注自己正在试图解决的问题，这时学习算法自身的归纳偏好与问题是否相配，将会决定误差大小。