orthogonalization/ one metric
train、dev/test 划分
开发集和测试集一定来自同一分布 onthe same distribution
Human level performance & bayes error
human level performance 接近 bayes error，training error 和 bayes 的差距 : bias(avoidable error)，dev/test error: variance，决定先调优bias/variance。
Bias & variance
Bias: Training error 和 human performance 相差大 （avoidable error）
variance: training error 和 dev error 相差大
Error analysis
Mismatched dev/test & training set
option 1：讲所有数据集随机打乱，再划分
option 2：dev/test 来源于target dataset，一部分target set 和其他补充数据集作为training set
Bias & variance & data mismatch
human performance 和 training error 评估 avoidable error，traing error和 training - dev error 评估 variance，training - dev error 和 dev error 评估 data mismatch，dev error 和 test error 评估 overfit
deal with mismatch
迁移学习
end to end
免去中间组件设计和先验知识，直接学习输入到输出的映射。
需要大量数据。