集成算法学习
集成算法通过组合多个弱学习器提升模型性能，以下是核心内容详解：
一、核心思想
- 组合优势：结合多个简单模型（如决策树），通过“少数服从多数”或“加权平均”等策略，降低方差、偏差或过拟合风险。
- 关键问题：
- 如何生成差异大的弱学习器？
- 如何有效组合弱学习器？
二、三大主流框架
1. Bagging（自助聚合）
- 原理：
- 从原始数据中随机有放回抽样，生成多个子集，训练多个独立模型（如随机森林）。
- 预测时取均值（回归）或投票（分类）。
- 特点：
- 降低方差，适合高方差模型（如决策树）。
- 代表算法：随机森林（RF）。
2. Boosting（提升）
- 原理：
- 迭代训练弱学习器，逐步调整样本权重（前序模型错分样本权重更高）。
- 代表算法：
- AdaBoost：权重调整明确，对异常值敏感。
- GBDT：基于梯度下降优化，用残差迭代训练。
- XGBoost/LightGBM：GBDT的高效优化版本，支持正则化和并行计算。
- 特点：
- 降低偏差，适合低方差模型（如线性模型），但易过拟合。
3. Stacking（堆叠）
- 原理：
- 用第一层弱学习器的输出作为第二层模型的输入特征，训练一个元模型进行最终预测。
- 注意：
- 需避免数据泄漏，常用交叉验证拆分训练集。
三、经典算法对比
算法 核心逻辑 弱学习器类型 并行/串行 调参复杂度
随机森林 Bagging + 特征随机选择 决策树 并行 低
AdaBoost 加权投票 + 样本权重调整 决策树桩 串行 中
GBDT 梯度下降 + 残差迭代 决策树 串行 中
XGBoost 正则化 + 二阶导优化 决策树 近似并行 高
四、关键调参技巧
1. 随机森林：
- n_estimators （树的数量）：越大性能越稳，但耗时增加。
- max_features （特征抽样比例）：默认 auto （\sqrt{n}），降低可提升多样性。
2. XGBoost：
- learning_rate （学习率）：越小需越多树，通常设0.01-0.1。
- max_depth （树深度）：控制复杂度，默认6，防止过拟合。
- lambda / alpha ：L2/L1正则化，抑制过拟合。
3. 通用技巧：
- 先用简单模型（如RF）快速验证，再用复杂模型（如XGBoost）调优。
- 结合网格搜索（GridSearch）或贝叶斯优化优化超参数。
五、应用场景
- 结构化数据（如表格数据）：集成算法是首选（Kaggle竞赛常用）。
- 分类问题：投票机制提升鲁棒性（如客户流失预测）。
- 回归问题：均值聚合降低噪声（如房价预测）。
六、学习资源推荐
- 书籍：《机器学习实战：基于Scikit-Learn和TensorFlow》第7章。
- 课程：吴恩达《机器学习》集成学习章节。
- 实践：用Scikit-Learn实现随机森林，用XGBoost实战Kaggle数据集（如泰坦尼克号生存预测）。
如需具体算法代码或案例，可以进一步说明！