> For the complete documentation index, see [llms.txt](https://lang-yu.gitbook.io/mi-ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://lang-yu.gitbook.io/mi-ai/du-shu-bi-ji/4.xgboost/01.concept.md).

# 4.1.基础和初探

    XGBoost（Extreme Gradient Boosting）在训练样本有限、训练时间短、调参只是缺乏的场景下具有独特优势，相对深度神经网络，它能更好处理表格数据，具有很强可解释性，并易于调试、输入数据不变性等优势。

    XGBoost是Gradient Boosting的实现，它的特征如下：

1. 将正则项加入目标函数中，控制模型的复杂度、防止过拟合。
2. 对目标函数进行二阶泰勒展开，同时使用了一阶导数和二阶导数。
3. 实现了可并行的近似直方图算法。
4. 实现了缩减和列采样（借鉴GBDT、随机森林）。
5. 实现了快速直方图算法，引入基于loss-guide的树构建方法（借鉴了LightGBM）。
6. 实现了求解带权值的分位数近似算法（Weighted Quantile Sketch）。
7. 可根据样本自动学习缺失值的分裂方向，进行缺失值处理。
8. 数据预先排序，并以块（Block）的形式保存，有利于并行计算。
9. 采用缓存感知访问、外存块计算等方式提高数据访问和计算效率。
10. 基于Rabit实现分布式计算、可集成于主流大数据平台中。
11. 除CART作为基分类器外，XGBoost还支持线性分类器以及LambdaMART排序模型等算法。
12. 实现了DART，引入了Dropout技术。