第3节 深度学习避坑指南：从过拟合到玄学优化
🤔 神经网络的"理想与现实"
理论上神经网络足够大就能解决所有问题？别天真！理想很丰满，现实中"过拟合"会让模型变成"考试机器"——训练数据上完美，新数据直接拉胯！就像右边那组看似误差更小的拟合曲线，其实把噪声都学进去了，泛化能力还不如左边的简单模型。
现在假设我们用训练数据成功训练了一个神经网络，还有可能出现哪些问题呢？
过拟合：在训练数据上表现的很完美，但是在没见过的数据上表现的很糟糕的现象
所谓过拟合，就是模型太复杂了，在学习数据时把噪声和随机波动也学会了，这样对新数据的预测能力甚至不如简单的线性模型。而在没见过的数据上的表现能力，就是泛化能力。