Hello, my name is Huoshuai. I hold a Master's degree in Signal and Information Processing. My primary research area is remote sensing image processing, particu…
Boosting 算法作为机器学习领域最经典、最实用的技术之一,其文献体系跨越了三十余年,从 1990 年代中期的理论奠基到 2010 年代的工程化爆发,再到 2020 年代的工业级落地,形成了极为丰富的知识脉络。本文不仅列出参考文献,更希望为读者提供一条清晰的阅读路径,帮助不同背景的读者高效地构建自己的 Boosting 知识体系。
本文提供完整的、可直接运行的 Python 代码示例,涵盖二分类、回归、模型保存加载和 SHAP 解释。所有代码基于 sklearn 1.4+、XGBoost 2.1+、LightGBM 4.0+、CatBoost 1.2+ 编写,并附有注释;已在 scikit-learn 1.9.1、XGBoost 3.4.1、LightGBM 4.7.0、CatBoost 1.2.10、shap 0.54.1、optuna 5.1.0(Python 3.13)下实际运行通过。
Boosting 算法的性能很大程度上取决于超参数的选择。与随机森林等"开箱即用"的算法不同,Boosting 的默认参数往往偏激进(如 XGBoost 默认 max_depth=6、eta=0.3),必须经过系统调参才能发挥最优性能。本文提供一套通用的分步调参框架,并针对每种算法给出具体的参数建议和常见陷阱的解决方案。
Boosting 家族算法众多,从经典的 AdaBoost 到现代的 XGBoost、LightGBM、CatBoost,每种算法都有其独特的设计哲学、优化方向和适用场景。在实际项目中,选择正确的算法往往比精细调参更能决定最终效果。本文从多维度对五大主流 Boosting 算法进行系统对比,并给出可操作的算法选择决策流程。
8.1 概述与核心创新 CatBoost(Categorical Boosting)是由俄罗斯搜索引擎巨头 Yandex 于 2017 年开源的梯度提升决策树实现。核心论文有两篇:Prokhorenkova 等人的 CatBoost: unbiased boosting with categorical features(NeurIPS 2018,arXiv 2017)提出有序提升与有序目标统计;Dorogush、Ershov、Gulin 的 CatBoost: gradient boosting with categorical features support(arXiv 2018)介绍 …
7.1 概述与核心创新 LightGBM(Light Gradient Boosting Machine)是由 微软亚洲研究院(Microsoft Research Asia) 的 Guolin Ke(柯国霖)等人与北京大学合作,于 2017 年在 NIPS 会议(NIPS 2017,即现在的 NeurIPS)上发表的高效梯度提升决策树系统(论文 LightGBM: A Highly Efficient Gradient Boosting Decision Tree)。作为 XGBoost 之后的又一里程碑式工作,LightGBM 不仅在训练速度上实现了数量级的提升,还在内存效率、高维稀疏数 …
6.1 概述与核心创新 XGBoost(eXtreme Gradient Boosting)是由 Tianqi Chen 和 Carlos Guestrin 于 2016 年在 ACM SIGKDD 会议(KDD 2016,论文 XGBoost: A Scalable Tree Boosting System)上提出的可扩展端到端树提升系统。它是对传统梯度提升决策树(GBDT)的算法与工程双重革新,通过引入二阶泰勒展开、显式正则化目标函数、加权分位数草图、稀疏感知分裂以及系统级优化(Block结构、缓存感知、核外计算),在速度和精度上均实现了显著突破。
使用平方误差损失时,每一轮的新树拟合当前残差,再按学习率缩放后加入集成。 5.1 函数空间梯度下降的核心思想(Friedman 2001) Gradient Boosting 的核心思想由 Jerome H. Friedman 在 2001 年的经典论文 “Greedy Function Approximation: A Gradient Boosting Machine” 中提出(1999 年以技术报告形式发布),将 Boosting 框架重新解释为函数空间中的梯度下降(Gradient Descent in Function Space)。这是 Boosting …
每轮迭代后,错分样本的权重会上升。在满足弱学习条件时,训练误差的上界随迭代下降。 4.1 算法概述与核心思想 AdaBoost(Adaptive Boosting,自适应提升)由 Yoav Freund 和 Robert E. Schapire 于 1995 年首次提出会议版本(EuroCOLT 1995),并于 1997 年在 Journal of Computer and System Sciences 上发表正式论文,是 Boosting 家族中最经典、最具影响力的算法,也是机器学习历史上最重要的算法之一。