三要素：模型，策略，算法
应用：人工智能，模式识别，数据挖掘，自然语言处理，语音识别，图像识别，信息检索和生物信息等
计算机科学由三维组成，系统，计算，信息。统计学习主要属于信息
统计学习包括监督学习，非监督学习，半监督学习，强化学习
损失函数
风险函数或期望损失：
经验风险或者经验损失：
结构风险：
J(f)为模型的复杂度
过拟合：学习时所包含的模型所选择的参数过多，以至于出现这一模型对已知数据预测得很好，对未知数据预测很差的现象
常用的模型选择方法：正则化与交叉验证
1.正则化
和结构风险表达式一样，第一项是经验风险，第二项是正则化项，λ>=0为调整两者关系的系数。正则化项可以使L1范数或者L2范数。