【机器学习】什么是损失景观（Loss Landscape）？
什么是损失景观（Loss Landscape）？
- 一、核心概念：一句话概括
- 二、核心组件：理解它的三个关键部分
- 三、一个简单的类比：盲人爬山者
一、核心概念：一句话概括
损失景观（Loss Landscape） 是一个用于可视化机器学习模型“表现”的工具。它描绘了模型所有可能的参数设置（权重和偏置）与其在这些参数下所产生的损失函数（Loss Function） 值之间的关系。
你可以把它想象成一幅地图：
- 地图上的点 (x, y)：代表模型参数的某种组合（可能是成千上万个维度）。
- 点的高度 (z)：代表模型使用那组参数时，在训练数据上犯错的严重程度，即损失值。
二、核心组件：理解它的三个关键部分
要理解损失景观，必须抓住以下三个要素：
-
模型参数 (Parameters)
- 这是模型在训练过程中需要学习和调整的东西，比如神经网络中神经元之间的连接权重（Weights）和偏置（Biases）。
- 一个现代神经网络可能有数百万甚至数十亿个参数。每个参数都可以看作一个维度。
-
损失函数 (Loss Function)
- 这是一个数学函数，用于衡量模型预测值与真实值之间的差距（即“错误”有多大）。常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。
- 目标：训练模型的最终目的就是找到一组参数，使得这个损失函数的值尽可能小。
-
景观 (Landscape)
- 将“参数组合”和“损失值”结合起来，就形成了一个超曲面。因为我们无法可视化百万维的空间，所以通常通过降维或切片的方式来观察它的二维或三维投影。
- 这个曲面上的“山谷”对应低损失值（好模型），“山峰”对应高损失值（差模型）。
三、一个简单的类比：盲人爬山者
想象你是一个盲人爬山者，你的任务是找到整片山区的最低点（山谷谷底）。
- 你的位置 = 当前模型的参数组合。
- 你脚下的海拔高度 = 当前参数下的损失值。
- 整片山区的地形 = 损失景观。
你的目标就是通过反复试探周围的地形（计算损失函数在当前参数点的梯度/坡度），一步步地向更低的地方移动（更新参数），最终希望能到达最低点（找到最优模型）。