XGBoost是華盛頓大學博士陳天奇創造的一個梯度提升（Gradient Boosting）的開源框架。至今可以算是各種數據比賽中的大殺器，被大家廣泛地運用。接下來，就詳細介紹一下XGBoost的原理和公式推導。

XGBoost其實是一個樹集成模型，他將K（樹的個數）個樹的結果進行求和，作為最終的預測值。好比接下來有兩顆決策樹：tree1和tree2。

小男孩的回歸預測分數是tree1葉子結點的權重和tree2葉子結點的權重相加：2 + 0.9 = 2.9。爺爺的預測分數同理：-1 + （-0.9）= -1.9。

所以我們可以得出Xgboost的預測函數：

由此得出我們的目標函數(實際值-預測值)：

而接下來的優化就是使得我們的目標函數最小，即預測值無限接近真實值。

那么XGBoost就可以抽象成如下方程式，即第t輪的模型預測等于前面t-1輪的模型預測再加上一個新的函數，這個新的函數就是當前的決策樹。每加一個函數預測效果都要比之前更好一些。

我們之前講決策樹的時候，講到決策樹自身會有一些懲罰項，比如葉子結點過多，決策樹過擬合的風險就會變大。所以說我們設置一個損失函數來表述懲罰項，比如葉子的個數，還有對權重的l2懲罰項。

所以我們的目標函數就變成了如下的方程式所示：

接下來我們使用泰勒來展開我們的目標函數：

接下來我們進一步化簡目標函數，把ft換成權重與葉子結點的函數，把樣本遍歷換成葉子結點上的遍歷，減少遍歷次數。

繼續化簡，展開懲罰項，一并進行化簡，可化簡如下所示公式：

為了使得目標函數最小，我們需要對其對權重w進行求導后使其偏導數為0，然后再帶入目標函數中，如下：

目標函數代表了當我們指定一個樹的結構的時候，我們在目標上面最多減少多少，我們可以把它叫做結構分數，你可以認為這個就是類似基尼系數一樣更加一般的對于樹結構進行打分的函數，下面是一個具體的例子：

如上就是比賽戰斗機Xgboost集成算法的原理和推導公式，他的優缺點如下所示：

XGBoost的主要優點：
1. 簡單易用。相對其他機器學習庫，用戶可以輕松使用XGBoost并獲得相當不錯的效果。
2. 高效可擴展。在處理大規模數據集時速度快效果好，對內存等硬件資源要求不高。
3. 魯棒性強。相對于深度學習模型不需要精細調參便能取得接近的效果。
4. XGBoost內部實現提升樹模型，可以自動處理缺失值。
XGBoost主要缺點
1. 相對于深度學習模型無法對時空位置建模，不能很好地捕獲圖像、語音、文本等高維數據。
2. 在擁有海量訓練數據，并能找到合適的深度學習模型時，深度學習的精度可以遙遙領先XGBoost。

本文轉載自??人工智能訓練營??，作者：人工智能訓練營