无偏估计器

Question

我有以下问题。 给定一个数据集 E（例如包含有关年龄的信息）。 考虑 E 的两个子集，E1 包含 age=40。 如果 H 是使用 E1 作为训练集的学习方法提供的解，E2 是 H 的 True error 的无偏估计量吗？

来自 Tom Mitchell 机器学习： 估计量 Y 对任意参数 p 的估计偏差是 E[y]-p。 如果估计偏差为零，我们说 Y 是 p 的无偏估计量。 为了让errors(h)给出errorv(h)的无偏估计，假设h和样本 S 必须独立选择。

我在回答这个问题时遇到了一点问题，但我认为这不是一个无偏估计。

Answer 1

假设年龄是您所预测的（回归或分类的目标），明确的答案是否定的。当系统在 E1 (age=40) 是用于估计其误差的有偏数据集。因为训练集不包含验证集的足够变化（除非模型非常简单，如线性）。正确的做法是从E中随机选择E1和E2。