集成学习之Bagging，Boosting，随机森林

Bagging（Bootstrap Aggregating）

• 原理：Bagging的核心思想是基于自助采样法（Bootstrap sampling）。自助采样是有放回地从原始数据集中抽取样本，形成多个不同的子集。对于每个子集，训练一个基学习器，最终将这些基学习器的结果进行综合（分类任务通常采用投票法，回归任务通常采用平均法）得到最终的预测结果。
• 特点
  • 各个基学习器之间相互独立，可并行训练，因此训练速度较快。
  • 可以有效降低模型的方差，减少过拟合的风险，提高模型的稳定性和泛化能力。
• 代表算法：Bagging算法的典型代表是决策树的Bagging，即Bagging决策树。

Boosting

• 原理：Boosting是一种迭代的方法，它串行地训练一系列基学习器。在每一轮训练中，会根据前一轮基学习器的表现调整样本的权重，对于前一轮被错误分类的样本，会增加其权重，使得后续的基学习器更加关注这些难分类的样本。最后将所有基学习器按照一定的权重组合起来，形成最终的强学习器。
• 特点
  • 基学习器之间存在依赖关系，需要串行训练，训练时间相对较长。
  • 主要用于降低模型的偏差，提高模型的准确性，但可能会增加过拟合的风险。
• 代表算法：AdaBoost（Adaptive Boosting）、Gradient Boosting等。

随机森林（Random Forest）

• 原理：随机森林是Bagging和决策树的结合。它在Bagging的基础上，进一步引入了随机特征选择。在构建每棵决策树时，不是使用所有的特征，而是随机选择一部分特征来进行节点划分。这样可以增加基学习器之间的多样性，提高模型的泛化能力。
• 特点
  • 继承了Bagging的优点，可并行训练，能有效降低方差，减少过拟合。
  • 由于引入了随机特征选择，增强了模型的抗干扰能力和泛化性能。
  • 可以处理高维数据，并且不需要进行特征选择，还能评估各个特征的重要性。
• 应用场景：随机森林在分类、回归等多个领域都有广泛的应用，如金融风险评估、图像识别、生物信息学等。