xgboost集成思想
xgboost可以和决策树结合在一起，一个分类器效果不好，可以考虑多个分类器，要求每多加一个分类器，分类的效果更好。
xgboost基本原理
每加一棵树的时候整体效果提升，整体效果更好
在原有的模型上面加上一颗新树使得预测效果更好
f函数是把树拆分成结构部分q和叶子权重部分w
损失函数：
构建决策树的时候希望树越少越好，这里用r约束T的个数，加上L2正则惩罚项
xgboost公式推导：
目标函数：
1、f函数转换为w函数
2、对样本遍历转换为对叶子节点进行遍历，样本总个数等于叶子节点中的样本个数之和。
求最小值：
对w求一阶导的结果等于0，求出最小值
最后求得目标函数。