【学习笔记】深度学习-梯度概念

一、定义

梯度向量不仅表示函数变化的速度，还表示函数增长最快的方向

二、【问】为什么说它表示方向？

三、【问】那在深度学习梯度下降的时候，还要判断梯度是正是负来更新参数吗？

假设某个参数是 w，损失函数对它的导数是 dw

情况一: dw > 0

说明当前点在一个上升区间，想让损失下降，w应该变小，也就是减去这个正的梯度。

情况二: dw < 0

说明当前点在一个下降区间，函数在往下走，w应该变大，同样地:减去负的梯度，相当于加上它的绝对
值。

结论

所以，无论正负，统一使用:w = w - α*dw就可以了!
减去正数 → 向左走(变小)
减去负数 → 向右走(变大)

优化

当样本数量很大的时候，需要对每个样本求偏导，再取平均值得到损失函数，（计算+存储）计算量会非常大
优化：随机梯度下降
从样本中随机取m个值，来进行梯度下降优化参数