当前位置： 首页 > backend >正文

4.大语言模型预备数学知识

backend 2025/7/15 9:18:59

大语言模型预备数学知识

复习一下在大语言模型中用到的矩阵和向量的运算，及概率统计和神经网络中常用概念。

矩阵的运算

矩阵

在这里插入图片描述

矩阵加减法

条件：行数列数相同的矩阵才能做矩阵加减法

在这里插入图片描述

数值与矩阵的乘除法

在这里插入图片描述
在这里插入图片描述

矩阵乘法

条件：矩阵A的列数 = 矩阵B的行数时， A才能乘B

因为矩阵乘法是前一个矩阵各行中各个元素乘后一个矩阵各列中对于元素，所以要求矩阵A的列数 = 矩阵B的行数。

在这里插入图片描述

矩阵乘法性质

在这里插入图片描述

矩阵的转置

转置：矩阵所有的行按顺序变成列

在这里插入图片描述

转置的性质

在这里插入图片描述

向量的运算

向量

本博客后续，默认用行向量来表示默认向量

在这里插入图片描述

向量的几何意义

起点在坐标原点，终点在坐标数值的向量

在这里插入图片描述

向量的加减法

条件：向量a，b的元素的个数相同

在这里插入图片描述

向量加法，以零点为起点，以b’终点为终点的向量（b’的起点为a的终点）。减法就相当于 加 负向量

在这里插入图片描述

数值与向量的乘除法

a向量乘2，表示对a向量伸长了两倍。

在这里插入图片描述

向量的乘法

向量乘法是向量的点积运算，又称内积

点积：行向量乘列向量，结果为标量

在这里插入图片描述

点积点几何含义（常用）

反映了两个向量相似程度，当两个向量方向一致时，夹角为0，cos夹角 = 1，两向量长度不变则此时两向量的点积最大，表示两向量此时最相似。

但点积的大小也跟向量a，b的长度有关，所以可以进行归一化，即分别对每个向量除各自的长度（模），称为余弦相似度。（归一化了，就跟具体的向量长度没关系了，其值完全反映两个向量的相似性）
在这里插入图片描述

矩阵和向量的乘法

向量（指行向量）右乘矩阵（矩阵在右边），条件：矩阵行数与向量元素个数相等。相乘结果为一个行向量，其元素个数为矩阵的列数。

在这里插入图片描述

向量（指列向量）左乘矩阵（矩阵在左边），条件：矩阵列数与向量元素个数相等。相乘结果为一个列向量，其元素个数为矩阵的行数。

在这里插入图片描述

矩阵和向量的乘法的几何意义

向量右乘矩阵的几何意义

  • 相似性角度

在这里插入图片描述

  • 空间变换角度，表示对向量的旋转操作
    在这里插入图片描述

在这里插入图片描述

a在新坐标系中的坐标

概率

数学期望与方差

在这里插入图片描述

数学期望：离散型随机变量每个可能的取值，与该取值对应的概率相乘，统一相加的结果，反映取值的平均值

在这里插入图片描述

在这里插入图片描述

蒙特卡洛方法（通过采样的方法）

即计算数学期望值的时候，通过采样计算平均值的方式去近似（蒙特卡洛方法）。

为什么？因为我们不知道每种概率是多少，就通过采样的办法去近似，当采样数量足够多时，采样平均值就可被认为数学期望。

在这里插入图片描述

在这里插入图片描述

数学期望的性质

在这里插入图片描述

在这里插入图片描述

最后一条性质指，随机变量x，任何可能都>=0，则数学期望>=0

方差

在这里插入图片描述

在这里插入图片描述

计算方差的过程

如何理解评价值除n，方差除n-1。因为前面求平均值时除n，知道了n个数中n-1个就可以把第n个算出来，它们之间有一定相关性。除n-1得到的才是无偏估计。

在这里插入图片描述

举例

在这里插入图片描述

方差的性质

在这里插入图片描述

马尔可夫过程

马尔可夫过程是一个随机过程，且未来的发展只与当前状态有关，而跟之前的状态无关。一般来说都是一种近似的结果，通过近似来简化计算。

一般的随机过程

X(t)的取值称为随机过程在时间t的状态

在这里插入图片描述

马尔可夫过程

在这里插入图片描述

神经网络与深度学习

梯度下降

方向：如果斜率(导数)>0,则x减；如果斜率(导数)<0,则x加（即修改的方向跟导数的方向相反）

大小：离最低点（最优值）远时，比较陡（导数绝对值越大越陡）—导数绝对值越大，修改量越大。

在这里插入图片描述

震荡问题，因为导数趋于∞时，会导致震荡, 引入一个大于0的常量步长，防止震荡很大，使其一步步过来。

在这里插入图片描述

在神经网络中因为参数量很大所以用偏导数

在这里插入图片描述

导数反映某一处切线斜率，梯度表示在曲线中的某个切平面的斜率。梯度下降核心思想：沿着梯度的反方向，看那个地方下降最快，沿最陡峭地方往下走，一点点找到最优值。

在这里插入图片描述

常见梯度下降算法

在这里插入图片描述

http://www.xdnf.cn/news/10589.html

相关文章：

  • 数据库系统概论（十一）SQL 集合查询 超详细讲解（附带例题表格对比带你一步步掌握）
  • 花卉目标检测数据集介绍（共 12 类，10490 张图像）
  • LeetCode 热题 100 394. 字符串解码
  • 前缀和题目：一维数组的动态和
  • Unity中的MonoSingleton＜T＞与Singleton＜T＞
  • Golang——5、函数详解、time包及日期函数
  • 如何使用DAXStudio将PowerBI与Excel连接
  • python，Dataframe基于所有包含某个关键字的列等于某个值过滤
  • PostgreSQL的扩展 insert_username
  • 高等数学笔记 第八章——向量代数与空间解析几何2
  • Mysql备份
  • 助力活力生活的饮食营养指南
  • Python----目标检测（训练YOLOV8网络）
  • 【Java Web】6.登入认证
  • 使用 MCP 将代理连接到 Elasticsearch 并对索引进行查询
  • 电脑为什么换个ip就上不了网了
  • Java Netty 中处理粘包和半包问题的解决方案 | TCP消息完整性校验（XOR ）
  • JavaScript性能优化：实战技巧提升10倍速度
  • 【性能调优系列】深入解析火焰图：从基础阅读到性能优化实战
  • 【python深度学习】Day43 复习日
  • MG影视登录解锁永久VIP会员 v8.0 支持手机电视TV版影视直播软件
  • 抛砖引玉：RadarDet4D，NuScenes数据集Radar模态目标检测第二名（即将开源）
  • 【Elasticsearch】Elasticsearch 核心技术（一）：索引
  • Attention注意力机制
  • 【git-首次初始化本地项目、关联远程仓库】
  • 飞牛fnNAS存储空间模式详解
  • 缓存击穿、缓存雪崩、缓存穿透以及数据库缓存双写不一致问题
  • Transformer相关
  • 辅助角公式
  • 财管-0-战略和战略管理