一些视觉应用中的数学小知识点总结
超平面
超平面定义为：
，对向量W归一化得：
，其中，
，归一化处理可简化后续一些计算。
超平面单位法向量为w，证明如下：
设
为超平面上得点，则有：
，
，向量w与超平面上任意方向线段垂直，则w为超平面单位法向量。
原点到超平面距离为b，证明如下：
过原点O作到超平面距离垂线，设OM=-kw，代入超平面得：
，
则原点O到超超平面距离为
。
任意点N到超平面距离为
，证明如下：
点N在OM上投影向量为：
，任意点N到超平面作垂线向量为：
，则距离为：
。
矩阵微分
1）y=Ax, y为m*1向量，x为n*1向量，A为m*n矩阵，A不依赖x，则有
，证明如下：
，
。
2）y=Ax, y为m*1向量，x为n*1向量，A为m*n矩阵，A不依赖x，x=f(z)，根据链式法则有
。
3）
，y为m*1向量，x为n*1向量，A为m*n矩阵，A不依赖xy，则有
，证明如下：
令
，通过变换得：
。
令
，则有：
。
4）
，x为n*1向量，A为n*n矩阵，A不依赖x，则有
，证明如下：
，
，
，结论得证。
5）
，x为n*1向量，A为n*n对称矩阵矩阵，A不依赖x，由于
，则有
。
6）
，y为n*1向量，x为n*1向量，x与y均依赖于z，根据链式法则有
，若x=y，则有
。
7）
，y为m*1向量，x为n*1向量，A为m*n矩阵，A不依赖xy，x与y均依赖于z，根据链式法则有
。
8）
，x为n*1向量，A为n*n矩阵，A不依赖x，x依赖于z，根据链式法则有
。
9）A为n*n矩阵，A的各项为变量
函数，定义
，则有
，证明如下：
由于
，左右微分得：
，
。
曲率
曲率定义为单位弧段上切线旋转过的角度，
。针对直线情况，K=0表示直线无弯曲；针对圆形，
表示圆形弯曲程度与半径呈反比。
在直角坐标系下，设曲线方程为
，且函数具有二阶导数，欲求曲线上某一固定点（x, f(x)) 的曲率，有如下推导：
根据导数定义可知
，使用反函数重写得
，两边对 x 求导得
，
代入
得
，到此，建立起了
与
关系，根据弧微分公式可建立
与
关系，如下：
极限情况下，
，而
，则有
。
根据以上关系，可建立
与
关系：
。
当曲线表示为参数方程
时，可以首先求出 y 对 x 的一阶与二阶导数，代入之前曲率公式即可。
使用反函数关系，可求得一阶导数为
，由于一阶导数是关于 t 的函数，则二阶导数定义为
，
根据基本求导法则得
。
向量范数与矩阵范数
在实数空间R中，可以很方便比较两个数的大小关系。而针对两个n维向量
，
，如果需要比较大小关系，需要定义一个准则，如到原点距离（即欧氏距离）。而范数即为不同的准则，如
等，其公式为：
。
当k=2时，即为常见的欧式距离；当k=1时，为向量中各元素绝对值之和；当k=0时，表示向量中非零元素个数；当
时，表示向量中绝对值最大元素绝对值。
针对
时，可以使用极限求解，有
。
将矩阵作用于向量（矩阵左乘向量），表示矩阵对向量进行线性变换。如果矩阵为单位矩阵，则变换后向量于变换前保持一致。如果矩阵非单位向量，变换后向量与变换前则存在差异，不同矩阵对向量的变换的差异不一致，这里使用矩阵范数表示这种变换的最大差异。显然，要度量变换前后向量差异，需要选择合适的度量准则，即以上所述的向量范数。
在选择了合适的向量范数后，对应的矩阵范数表示该度量规则下矩阵变换前后的最大差异，则有：
1）使用矩阵每列绝对值之和的最大值表示矩阵A的
范数；
2）使用矩阵每行绝对值之和的最大值表示矩阵A的
范数；
3）使用
（矩阵
最大特征值开平方）表示矩阵A的
范数。
椭圆
标准椭圆解析方程为
， a, b表示椭圆在xy方向上的半轴长度。
将标准椭圆旋转
弧度后，相当于对当前坐标下图形上所有点旋转
弧度后满足标准方程，则有
。
从原点构建一条射线
，射线与旋转
弧度后椭圆相交于一点，如何求该点坐标，方法如下：
1）旋转坐标系
弧度，在该坐标系下椭圆为标准椭圆；
2）原射线在新坐标系下表示为
， 在该射线上存在一点满足标准椭圆方程
，求解出新坐标系下交点坐标；
3）将求解出交点坐标旋转
弧度即得到交点坐标。
分部积分法
求解积分
，可使用分部积分法，具体思路如下：
1）根据积分乘法法则：
，可做如下变形：
；
2）两边积分得：
，
；
3）令 u = x, dv = sinxdx，代入以上公式可得：
；
4）解以上积分可得：
。
空间直线
在
中，直线方程可表示为
。例如：
表示一条三维空间直线，可使用参数方程改写：
令
，有：
， 直线方向向量为：
。
逆矩阵求解
如果矩阵（方阵） A 存在逆矩阵，则等式
成立，可以使用 Gauss-Jordan Method 求逆矩阵，主要思路为对长方矩阵
进行消元法处理，当矩阵 A 经过消元后得到 I，矩阵 I 则变成了
。证明如下：
1）对 A 消元过程可描述为
；
2）使用同样的消元矩阵作用于 I 可描述为：
，结论得证。
使用 Gauss-Jordan Method 求逆矩阵时，对矩阵 A 消元到 U 时并不停止消元，还需要继续对 U 消元，直到 U 变成对角矩阵，然后将对角矩阵化为单位矩阵。该过程同样作用于右边矩阵 I ，故 Gauss-Jordan Method 计算量较大，但逻辑简单明了，适合小矩阵时手动演算。更简单的方法是使用矩阵LU分解 + 多次回带即可求得逆矩阵。思路如下（假设3*3方阵）：
1）
可被改写为：
，其中，
，
；
2）拆分以上等式为三个线性方程组：
；
3）观察以上三个线性方程组，其中，
为矩阵
的列组成，其系数矩阵都为 A ，故仅需要一次LU分解，然后通过回带分别求解
即可。
梯度
函数 z = f(x, y) 梯度表示为
，其梯度方向始终指向函数较大值处。函数 z = f(x, y) 几何图形需要三维空间表示，为了更方便观察函数，可以使用二维平面上等高线表示函数。例如：函数
等高线可表示为XY平面上的同心圆。同理，函数 f(x, y, z) 梯度表示为
，可以使用三为空间等值面表示函数。
函数梯度与等高线（或等值面）关系：任意点函数梯度向量垂直于该点所在等高线（或等值面）。
针对二维函数，其推导如下：
1）函数 z = f(x, y) 在XY平面上取任意一条等高线 f(x, y) = c ，将该条等高线上点表示为变量 t 的函数：x = x(t), y = y(t)，等高线可表示为 f(x(t), y(t)) = c；
2）在等高线上取任意一点，沿等高线移动一小段距离，函数值保持不变，则有：
，
，
表示沿登高线切线方向，则可证明梯度垂直于等高线。
针对三维函数，思路与二维函数基本一致。首先选择等值面 f(x, y, z) = c ， 在等值面上任意选取一条曲线：x = x(t), y = y(t), z = z(t)，等值面上任意一条曲线可表示为f(x(t), y(t), z(t)) = c 。然后沿该曲线移动一小段距离，函数值保持不变，则有
，
为等值面上任意一条曲线切线方向，表明梯度与等值面切线方向垂直，可证明梯度垂直于等值面。
二 方向梯度
针对多元函数，使用偏导可以得到坐标轴方向上函数变化情况。使用方向梯度，可以得到任意方向上函数变化情况。定义任意方向单位向量
，沿单位向量移动单位距离，坐标轴变化情况为：
。通过建立x,y 与 s 的复合关系，函数 f(x, y) 可改写为 f(x(s), y(s))， 则有
。
因此，沿u方向上的方向梯度等于函数沿坐标轴上梯度向量与单位方向向量的点积。进一步观察可得：
，其中
为函数梯度向量与方向向量夹角。当梯度向量与方向向量平行时，函数在该点取得最大方向导数（反向为负值）；当梯度方向与方向导数反向时，函数在该点方向导数为零。
拉格朗日乘数法
求解函数 f(x, y, z) 在限定条件 g(x, y, z) = c 时取得极值。
方法一：通过 g(x, y, z) = c 消除一个变量，可以将函数 f(x, y, z) 改写成二元函数，使用一阶偏导寻找到极值点。
方法二：使用拉格朗日乘数法，当函数 f(x, y, z) 取得极值时，满足
，g(x, y, z) = c，结合以上条件即可求解极值点，推导如下：
1）在 g(x, y, z) = c 等值面上任意取一点，该点如果为函数 f(x, y, z) 上的极值点，则沿该点任意方向上，其方向梯度满足：
，则在 f 上梯度方向垂直于g所在切平面；
2）g 上梯度方向垂直于g所在切平面；
3）
。
例：求解f(x,y)极值，
，根据拉格朗日乘数法，建立如下关系：
，可求解函数 f 在限定 g 下的极值。
拉格朗日乘数法无法区分极大值或极小值，一般通过比较得到最大值或最小值。
点扩散函数
1）冲击函数采样
为无限冲击函数，当作用与连续函数时，有
，推导如下：
在
区间，有关系式
，做如下变换
，
，结论得证。
根据平移性质，有
，对两边同时积分得
。
当需要对函数 f(t) 在
点采样时，可做如下卷积
。
2）图像线性分解
对于离散函数，可以写成离散冲击得线性组合
。
对于连续函数，定义
，
。
当
，
，改写成积分形式为：
。
二维连续图像函数
使用二维冲击函数
线性组合为
。
对理想二维图像
，经过成像系统所得到的结果
是一个线性变换过程，如果
的响应为
，则
的响应为：
。
以上
的响应为
描述了一个理想点经过成像系统后的变化，
被称为点扩散函数(Point Spread Function)。
由于成像系统为线性变换，上式实际上表示了理想图像与点扩散函数的卷积结果，即
。
调制传递函数
点扩散函数在空域中使用卷积来描述成像系统，调制传递函数在频域使用乘积描述成像系统。
函数
经过成像系统变换为线性变换，使用卷积表示为
。
上式表明，
经过成像系统后其频率没有发生改变，仅改变了幅度与相位，
被称为成像系统的特征函数（类似线性代数中的特征向量）。
同样，对于二维图像
，特征函数
经过线性变换结果为：
。
在
平行线组垂直方向上，波长为
的余弦波的调制传递函数(Modulation Transfer Function) 为：
，使用变换
描述二维频率为
的响应幅度与相位。
Hessian Matrix
对于单变量函数，使用一阶导数判断在某点上是否存在极值，使用二阶导数判断该点是极大值或者极小值。
对于二元函数，首先讨论二元二次函数极值情况，然后将结论推广到一般二元函数情形。
对二元二次函数
，求偏导得并令其为 0 有
，解方程组得
，则函数 z 的临界点位于原点，进一步对函数 z 配方得
，则系数
联合确定了原点为局部极大值或者局部极小值，具体如下：
1）当
时，两平方项符号不一致，原点为鞍点（saddle point）；
2）当
时，两平方项均为非负值，z 最终值取决于 a。
当 a > 0 时，原点为极小值点；当 a < 0 时，原点为极大值点；当 a = 0 时，无法判断；
对于一般二元函数
，如果存在连续二阶偏导，在点
处，其一阶偏导满足关系
，使用泰勒公式的二阶近似如下：
，由于一阶偏导为零，进一步简化为：
，则函数 f(x,y) 在临界点
的极值特性取决于关系式
，该关系式与
基本一致，则有如下结论：
令
，
1）当
时，两平方项符号不一致，临界点
为鞍点（saddle point）；
2）当
时，两平方项均为非负值，z 最终值取决于
。
当
时，临界点
为极小值点；当
时，临界点
为极大值点；当
时，无法判断；
定义函数
的 Hessian Matrix 为
，由于
，Hessian Matrix 可改写为
。
关系式
使用 Hessian Matrix 重写为
，
使用 行列式
可得出类似结论：
1）如果
且
，则
为局部极小值，f 向上凹；
如果
且
，则
为局部极大值，f 向下凹；
如果
且
，无法判断；
2）如果
，则
为鞍点（saddle point）；
对 Hessian Matrix 进行特征值与特征向量分解，其特征值
决定了二元二次函数性质，结论如下：
1）当
时，临界点
为局部极大值；
2）当
时，临界点
为局部极小值；
3）当
或
时， 临界点
为 鞍点；
4）当
或
时，无法确定。
向量点积
向量点积度量两向量的相似度，可以分别从直角坐标与极坐标角度进行理解。
向量
，
点积可被分解为两个方向的乘积之和，如下图：
通俗的说，假如 x 方向表示苹果，y 方向表示橙子，
表示有
个苹果，
个橙子，对苹果乘以
，对橙子乘以
，最终得到
个水果；
从极坐标角度来看，表示一个方向上能量被增强了多少，如下图：
不管从直角坐标角度还是从极坐标角度，都有以下结论：
1）当两向量同向时，点积值最大；
2）当两向量反向时，点积值最小；
3）当两向量垂直式，点积为零；
以上分别从直角坐标与极坐标角度讨论了两向量的相似度，那么以上两种表示得到的结果是一致的吗？下面给出讨论：
如上图所示，由于向量 b 与向量 e 正交，有
，可求解
；
带入向量 p 得
，
，
，
因此，两种表示得到相同的结果。
向量叉积
与向量点积相反，向量叉积度量两向量的差异性，数值
表示两向量的差异性。
1）当两向量同向时，数值
为零，两向量差异为零；
2）当两向量反向时，数值
为零，两向量差异为零；
3）当两向量垂直式，数值
最大，两向量差异最大；
如两向量的构成平行四边形的面积等于
，当两向量正交时，构成平行四边形面积最大。
以上讨论中，情形 1）与 2）产生的同样的结果，表明一个固定向量可以与两个不同向量产生相同叉积，这两个不同向量与固定向量的夹角为互补关系。
在点积情形中，不存在如此情况。
仅使用数值表示两向量的差异性，其携带的信息量仍然不够。
考虑X，Y，Z 轴上单位向量 (x,y,z)， x 与 y 的差异性为 1，x 与 z 的差异性也为 1，使用方向信息可区分两种不同差异。
定义x 与 y 的差异方向为同时垂直于 x 与 y，即 z；同理，x 与 z 的差异方向同时垂直于 x 与 z；
使用右手系统，使用 xyzxyz 模式可给出坐标轴上向量叉积的方向:
xy -> z，yz ->x，zx -> y；
到此，两向量叉积方向被定义同时垂直于两向量，其数值表示两向量的差异性；
由于任意向量可表示为基向量的线性组合，下面给出任意两向量的叉积推导：
，
，
，
，
；
使用行列式可将向量叉积表示为：
通用函数求导
1
，c 为常数；
2
，n 为任意有理数，证明如下：
1）当 n 为正整数时，
，
使用二项定理
，
；
2）当 n 为负整数时，令 m = -n, 则 m 为正整数，
，
使用求导除法规则
，
;
3）当 n 为零时，自然满足公式；
4）当 n 为有理数时，
，等式可改写为
，利用隐函数求导有：
，
整理得：
;
3
，c 为常数；
4
，u,v 为不同函数；
5
，证明如下：
，
；
6
，证明如下：
，
；
7 复合函数
，
，证明如下：
，对其求极限得：
，
由于
为连续函数，根据连续性得：当
时，
，
可得
；
8 三角函数求导
1）在半径为 1 的单位圆周上任意点 (x,y) 对应的基本三角函数有：
，
；
2）当
以弧度计量时，
，证明如下：
a. 在单位圆中，
，
为该角度对应的弧长，当
趋近无穷小时，两者相等，等式
成立；
b.
，
；
3）
，
；
4）使用相似方法可证明
；
5）利用复合求导规则，可以推导出其他基本三角函数导数，如下：
；
9 反三角函数求导
1）对反三角函数
求导等价于对
求导，
应用隐函数求导规则有
，
，
由
得
，
由于
在定义域内为单调递增函数，故
；
2）
等价于
，
，
，
由于
在定义域内单调递减，故
；
3）
等价于
，
；
4）
，
，
由于
在定义域内单调递增，
；
5）
,
；
6）
，
，
由于
在定义域内单调递减，
；
10 指数与对数函数求导
1）指数基本运算法则是显然的，包括：
；
2）对数基本运算法则需要一些推导，包括：
.
，由于指数与对数互为反函数关系，该结论是显然的；
.
，通过关系式
可推导结论；
.
，通过关系式
可推导结论；
.
，通过关系式
可推导结论；
.
，欲证明该等式成立，可转换为证明
是否成立，
两边取对数
可证明等式成立；
3）极限
存在？
通过对对数函数求导运算，可证明极限
为一个有限实数，具体如下：
，
当 x = 0 时有
，观察图形在该点出导数为有限实数，则极限
为有限实数，
令
，等式可变换为
，
令
，上式可改写为
,
最终得到
，则极限
存在。
4）求导
？
,
令
，有
，
现在设
，当对数底为
时，对数求导结果最为简化，
，得到任意底对数函数导数；
当对数函数底为
时，有
。
5）指数函数
求导
将指数函数改写为对数函数
，
利用隐函数求导规则有
，
，
；
当指数函数为
时，
。