当前位置：首页 > news >正文

【学习笔记】深度学习-过拟合解决方案

news 2025/6/7 1:48:40

过拟合概念

在这里插入图片描述
欠拟合：一般是在训练、验证、测试集上表现都不佳。
过拟合：在训练集上表现不错，但在验证集和测试集上表现不佳，主要是因为学习到了训练数据的噪声和细节（样本之间的方差大，参数的方差也大）。

过拟合常伴随着大权重
以一个最简单的神经元为例：
在这里插入图片描述
要让输出 𝑎对输入 𝑥 的微小变化非常敏感（即对每一个训练样本都严格拟合），就要让 𝑧 对 𝑥的变化幅度更大；实现这种敏感的方式就是让权重 𝑤𝑖足够大。

方法一 L2正则化

公式

在原损失函数中加入权重参数的平方和作为惩罚项：
在这里插入图片描述
其中：
Loss(𝑤,𝑏)：原始损失（如交叉熵、MSE 等）
𝜆/2𝑚∑𝑤𝑖²：L2 正则项
𝜆：正则化强度（超参数）
𝑚：样本数

原理

在反向传播时，计算对某个wi的梯度，得到dw为：
在这里插入图片描述

如果wi特别大，则其梯度也会特别大，更新参数时，根据公式
wi = wi - αwi，wi减小的也会更多，将参数拉向原点
故L2正则化可以防止某个参数过大，即某个特征的权重过大
相当于给模型加了“平滑性”约束，使得模型不容易学习噪声。

方法二 Dropout（丢弃神经元）

原理

在训练时，以概率 𝑝随机“屏蔽”（设为 0）神经元的激活值，使网络结构每次都不一样
在这里插入图片描述

作用

每次训练只依赖部分神经元，强迫网络不能过度依赖某些路径；

实现方式

假设有0.8的概率保留结点，即keep_prob = 0.8

D = np.random.rand(A.shape[0], A.shape[1]) < keep_prob ## 生成掩码
"""
np.random.rand(...)会生成一个和激活矩阵 A 同样形状的矩阵，里面的每个值是从 [0, 1) 之间均匀分布中随机抽取的。
< keep_prob —— 阈值过滤,会返回一个布尔矩阵，值小于 0.8 的位置变为 True，大于等于 0.8 的变为 False
如 array([[True, True, False],[True, False, True]])
"""
A = A * D ## 被丢弃的位置为 False，对应 A 值乘 0
A = A / keep_prob ## 保证剩下的期望值不变