查准率P：
查全率R：
两者结合之后新的指标F1分数（P、R的平均值也叫调和平均数）：
利用F1这个单一实数指标来判断。
开发集以及验证集最好来自同一分布：方法是将数据全部打乱，然后从中抽取。
大量数据分配到训练集，其余少量数据分配到开发集和测试集，利用开发集选出不同的方法，测试集的目的是评估你最后的成本偏差。
人类水平误差用来估计贝叶斯误差，能够达到的最低值，当接近人类水平时，更难分辨出问题是偏差还是方差，所以此时进展会更缓慢。
误差分析：找到出现错误的例子中，影响最大的特征，对这个特征进行修改。