z由于xgboost的算法和GBDT的算法是相似的，只是在对损失函数的优化上边有不同的地方， 不是指最小化损失函数的过程不同，最小化的过程都是用的随机梯度下降法，不同是在最小化之前，对损失函数的处理上边。GBDT是直接在原来的损失函数上求最小化，在进行随机梯度下降的时候运用了偏微分的一阶导，而xgboost改进的地方是在于将损失函数进行了泰勒展开，运用了泰勒二阶展开式，用到了二阶导。这是两者最大的不同，还有一个是在于，GBDT每一次迭代都是用的全部的维度。而xgboost则在每次迭代时会随机抽取维度，每次的维度组合不一样，这个方法跟随机森林的抽样方法是一样的。
下边图片是转的别人的算法推导过程，懒得折腾写公式了