人工智能之数学基础:神经网络之多样本矩阵参数求导
前情提示
这里并没有说是使用了什么工具,如果你没有看前面的几篇文章,而是仅仅看这篇文章,那么你肯定是看不懂的,你不知道我在做什么。
本文重点
上一节课程中我们学习了单样本的神经网络求导,而实际中我们常常使用多样本的神经网络求导,也就是一次训练N个样本,我们可以使用X=[x1,x2,...,xN],此时它的损失函数还是:
其中b1 是一个列向量,1^T表示一个行向量,所以b11^T表示一个矩阵,只不过这里的x不是一个向量,而是一个矩阵了,为了进行导数的复合求导,我们令
那么此时的l可以表示为:
我们先来求∂l/∂A2,这个我们前面求过,那么我们直接使用结论: