一张比较经典的图[1]：
数学推导：
第一项是Variance， 第二项是Bias（，即分类器的预测）
[1] https://blog.csdn.net/wuzqChom/article/details/75091612
一个经典的问题：boosting降低Bias，而bagging（例如RF）降低Variance[2]。
1.
boosting例如Adaboost，GBDT，其第i个子分类器的训练依赖于第i-1个分类器的结果：
where,
具体的，例如Adaboost使用了指数损失函数
这样的依赖关系导致了子分类器之间相关程度高。
2.
bagging例如RF，每个子分类器重采样训练集，随机选则特征集的子集。使得子分类器之间相关程度变低。
从公式来理解以上两个情况，有n个分类器fi(x):
对于Bias：
对于bagging来说：，即取算术平均后基本不会改变Bias。
而对于Boosting来说其取加权平均，可以减小Bias。
对于Variance：
先选取两种极端情况进行讨论
若各个分类器相互独立，则
反之，
因此，对于Bagging来说，分类器间相关程度低，有利于减小Variance，而Boosting却无法做到这一点。
[2] https://www.zhihu.com/question/26760839