generalization error
在测试集中的误差叫做 generalization error (or out-ofsample error)
验证集（P30）
需要验证集的目的：不能在训练100个模型找出最佳的参数。因为你使模型和参数自动适应了。
怎么使用？先用训练集训练带有不同超参数的很多个模型，然后你挑一个在验证集上表现最好的模型，选择这个模型的参数，最后用测试集测试。
交叉验证集
训练集被分成互补的子集，训练好多模型，每个模型用不同的子集训练，用剩余的子集评估，一但参数挑选完毕，那么在用整个训练集训练，用测试集测试