三维重建 —— 4. 三维重建基础与极几何

课程视频链接：计算机视觉之三维重建（深入浅出SfM与SLAM核心算法）—— 4. 三维重建基础与极几何。

1. 三角化

​​鉴于单目相机三维重建的困难，引入多目相机。多目相机三维重建需要用到三角化，现在来介绍一下三角化的概念。
​假设存在两个相机，不妨记为 $O_1$ 和 $O_2$，且已知从相机 $O_1$ 到 $O_2$ 的旋转变换矩阵和平移向量分别为 $\mathbf{R}$ 和 $T$，引出下图的问题：

如上图所示，在相机坐标系 $O_1$ 中存在射线 $l$，在相机坐标系 $O_2$ 中存在射线 $l^{\prime }$，两条射线相交于三维点 $P$，则 $P=l\times l^{\prime }$。值得注意的是：在计算 $l\times l^{\prime }$ 时，需要先将相机坐标系 $O_2$ 下的 $l^{\prime }$ 先转换到相机坐标系 $O_1$ 下，利用旋转矩阵 $\mathbf{R}$ 和 $T$ 即可实现坐标转换。
线性解法如下图所示：

非线性解法如下图所示：

我们将之前的三角化问题更加一般化，引出新的两个问题，如下图所示：

多视图几何的关键问题总结如下：

2. 极几何

2.1. 基本概念

极几何描述了同一场景或者物体的两个视点图像间的几何关系。现在介绍一下极几何的基本概念：

其中，$O_1{O}_2$ 为基线，$e$ 和 $e^{\prime }$ 是极点，$l$ 和 $l^{\prime }$ 是极线，极平面为点 $P$、$O_1$ 和 $O_2$ 构成的平面。
如下图所示，假设存在另一点 $Q$，则会形成新的极线 $\overrightarrow{qe}$ 和 $\overrightarrow{q^{\prime }{e}^{\prime }}$，我们可以发现 $\overrightarrow{qe}$ 和 $\overrightarrow{pe}$ 相交于 $e$，$\overrightarrow{q^{\prime }{e}^{\prime }}$ 和 $\overrightarrow{p^{\prime }{e}^{\prime }}$ 相交于 $e^{\prime }$。事实上，相机坐标系 $O_1$ 对应的图像平面上的所有极线都会相交于点 $e$，相机坐标系 $O_2$ 对应的图像平面上的所有极线都会相交于点 $e^{\prime }$。

2.2. 极几何特例

平行视图的特点是相机 $O_2$ 相对于相机 $O_1$ 只有平移（沿图像平面 $u$ 轴移动），没有旋转变换。平行视图的性质如下所示：

与平行视图不同的是，前向平移是指相机 $O_2$ 沿相机 $O_1$ 的前方进行移动，如下图所示：

现在我们需要根据一个图像中的点 $p$，找到该点在另一个图像上的对应点 $p^{\prime }$。我们可以通过极几何约束，将搜索范围缩小到对应的极线上，如下图所示：

3. 本质矩阵

本质矩阵对规范化相机拍摄的两个视点图像间的极几何关系进行代数描述。在规范化相机中，相机内参 $\alpha =\beta =1$，$\theta =90°$，$c_x=c_y=0$，此时的相机内参矩阵 $\mathbf{K}=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)$，我们规定图像平面位于相机坐标系 $Z$ 轴的正方向。

如上图所示，规范化相机坐标系通常假设所有点位于 $Z=1$ 平面，直接映射像素坐标到该平面。因此像素坐标系上点 $p=\left(\begin{array}{c}u\\ v\end{array}\right)$ 在规范化相机 $O_1$ 坐标系下的空间坐标为 $\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)$。
因为 $p^{\prime }=\mathbf{R}p+T$，则 $p={\mathbf{R}}^{-1}(p^{\prime }-T)={\mathbf{R}}^T(p^{\prime }-T)={\mathbf{R}}^T{p}^{\prime }-{\mathbf{R}}^{T}T$。所以点 $p^{\prime }$ 在相机 $O_1$ 坐标系下的坐标为 ${\mathbf{R}}^T{p}^{\prime }-{\mathbf{R}}^{T}T$。令 $p^{\prime }=\left(\begin{array}{c}0\\ 0\\ 0\end{array}\right)$，则可得点 $O_2$ 在相机 $O_1$ 坐标系下的坐标为 $-{\mathbf{R}}^{T}T$。

现在我们来计算 $\vec{n}=\overrightarrow{O_1{O}_2}\times \overrightarrow{O_1{p}^{\prime }}=-{\mathbf{R}}^{T}T\times ({\mathbf{R}}^T{p}^{\prime }-\mathbf{R}T)=-{\mathbf{R}}^{T}T\times {\mathbf{R}}^T{p}^{\prime }$，可知 $\vec{n}$ 为平面 $O_1{O}_{2}P$ 的法向量，即有 $[{\mathbf{R}}^{T}T\times {\mathbf{R}}^T{p}^{\prime }{]}^T\cdot p=0\Rightarrow [{\mathbf{R}}^T(T\times p^{\prime }){]}^T\cdot p=0\Rightarrow [{\mathbf{R}}^T[T_x]p^{\prime }{]}^T\cdot p=0\Rightarrow (p^{\prime }{)}^T[T_x{]}^T\mathbf{R}\cdot p=0$，注意到 $[T_x{]}^T=-[T_x]$，所以有：
$$(p^{\prime }{)}^T[T_x]\mathbf{R}p=0$$则本质矩阵 $\mathbf{E}=[T_x]\mathbf{R}$，即有：
$$(p^{\prime }{)}^T\mathbf{E}p=0$$本质矩阵的一些性质如下图所示：

现在我们来证明 $l^{\prime }=\mathbf{E}p$ 且 $l={\mathbf{E}}^T{p}^{\prime }$。
证：
$$\{\begin{array}{l}(p^{\prime }{)}^T{l}^{\prime }=0\\ (p^{\prime }{)}^T\mathbf{E}p=0\end{array}\Rightarrow l^{\prime }=\mathbf{E}p$$$$\{\begin{array}{l}{l}^{T}p=0\\ (p^{\prime }{)}^T\mathbf{E}p=0\end{array}\Rightarrow l={\mathbf{E}}^T{p}^{\prime }$$证毕。

再证：$\mathbf{E}e=0$ 且 $(e^{\prime }{)}^T\mathbf{E}=0$。
证：因为 $(l^{\prime }{)}^T{p}^{\prime }=(\mathbf{Ep}{)}^T{p}^{\prime }=0$，令 $p^{\prime }=e^{\prime }$，则有 $(\mathbf{E}p{)}^T{e}^{\prime }=0$。当我们取不同的点 $p$，均有 $(\mathbf{E}p{)}^T{e}^{\prime }=p^T{\mathbf{E}}^T{e}^{\prime }=0$ 恒成立，所以有 ${\mathbf{E}}^T{e}^{\prime }=0$，即 $(e^{\prime }{)}^T\mathbf{E}=0$。
同理可得 $\mathbf{E}e=0$。
证毕。

最后，我们来证明 $\mathbf{E}$ 的秩为 2。
不妨设 $T=\left(\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right)$。先证明当 $t_x,t_y,t_z$ 不全为 0 时，$[{\mathbf{T}}_{\mathbf{x}}]=\left(\begin{array}{ccc}0& -t_z& t_y\\ t_z& 0& -t_x\\ -t_y& t_x& 0\end{array}\right)$ 的秩为 2。
如果 $t_x,t_y.t_z$ 中有一个或者两个为 0，显然可知 $rank([{\mathbf{T}}_{\mathbf{x}}])=2$。
当 $t_x,t_y.t_z$ 都不为 0 时，有：$$\left(\begin{array}{ccc}0& -t_z& t_y\\ t_z& 0& -t_x\\ -t_y& t_x& 0\end{array}\right)\sim \left(\begin{array}{ccc}-t_y& t_x& 0\\ 0& -t_z& t_y\\ t_z& 0& -t_x\end{array}\right)\sim \left(\begin{array}{ccc}-t_y& t_x& 0\\ 0& -t_z& t_y\\ 0& \frac{t_x{t}_z}{t_y}& -t_x\end{array}\right)\sim \left(\begin{array}{ccc}-t_y& t_x& 0\\ 0& -t_z& t_y\\ 0& 0& 0\end{array}\right)$$可知 $rank([{\mathbf{T}}_{\mathbf{x}}])=2$。
因为旋转矩阵 $\mathbf{R}$ 是正交矩阵，所以 $rank(\mathbf{R})=3$。
一方面，Sylvester 秩不等式（$rank(\mathbf{AB})\ge rank(\mathbf{A})+rank(\mathbf{B})-n$）可知：$rank([{\mathbf{T}}_{\mathbf{x}}]\mathbf{R})\ge rank([{\mathbf{T}}_{\mathbf{x}}])+rank(\mathbf{R})-3=2$。
另一方面，根据定理 r a n k ( A B ) ≤ min ⁡ { r a n k ( A ) , r a n k ( B ) } rank(\mathbf{A} \mathbf{B}) ≤ \min \{rank(\mathbf{A}), rank(\mathbf{B})\} rank(AB)≤min{rank(A),rank(B)} 可知， r a n k ( [ T x ] R ) ≤ m i n { 2 , 3 } = 2 rank(\mathbf{[T_x]} \mathbf{R}) ≤ min \{2, 3\} = 2 rank([Tx​]R)≤min{2,3}=2。
所以，$rank(\mathbf{E})=rank([{\mathbf{T}}_{\mathbf{x}}]\mathbf{R})=2$，即 $\mathbf{E}$ 为奇异矩阵，秩为 2。
证毕。

为什么 $\mathbf{E}$ 的自由度为 5，而不是 6（3 个旋转自由度 + 3 个平移自由度）呢？
根据对极约束满足 $(p^{\prime }{)}^T\mathbf{E}p=0$，$\mathbf{E}$ 与 $k\mathbf{E}$ 描述相同的几何关系，这意味着 $\mathbf{E}$ 的缩放不影响对极约束，所以 $\mathbf{E}$ 需要减去一个自由度，即自由度为 5。例如，我们对矩阵 $[{\mathbf{T}}_{\mathbf{x}}]$ 乘以 $\frac{1}{t_z}$，再令 $t_x^{\prime }=\frac{t_x}{t_z}$ 和 $t_y^{\prime }=\frac{t_y}{t_z}$，则有 ${[{\mathbf{T}}_{\mathbf{x}}]}^{\prime }=\frac{1}{t_z}[{\mathbf{T}}_{\mathbf{x}}]=\left(\begin{array}{ccc}0& -1& t_y^{\prime }\\ 1& 0& -t_x^{\prime }\\ -t_y^{\prime }& t_x^{\prime }& 0\end{array}\right)$，即去除了 $t_z$ 这个自由度。

4. 基础矩阵

4.1. 基本概念

基础矩阵对一般的透视摄像机拍摄的两个视点的图像间的极几何关系进行代数描述。前面的讨论，我们是基于规范化相机进行的，如果是一般的相机，我们需要想办法变换到规范化相机上。

对于一般相机，我们有 $p=\mathbf{K}[\mathbf{I}0]P$，其中 $P$ 为三维空间点，$p$ 为像素点。由于 $\mathbf{K}$ 是满秩矩阵，所以 $\mathbf{K}$ 可逆，则有 ${\mathbf{K}}^{-1}p={\mathbf{K}}^{-1}\mathbf{K}[\mathbf{I}0]P=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right)P$，如果我们令 $p_c={\mathbf{K}}^{-1}p$ 和 $p_c^{\prime }={{\mathbf{K}}^{\prime }}^{-1}{p}^{\prime }$，则有 $$p_c=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right)P$$进一步有：

基础矩阵的性质如下图所示：

基础矩阵的作用如下图所示：

基础矩阵 $\mathbf{F}$ 刻画了两幅图像的极几何关系，即相同场景在不同视图中的对应关系，广泛应用于三维重建和多视图匹配。

4.2. 八点法

基础矩阵 $\mathbf{F}$ 有 7 个自由度，理论上 7 个点即可求解 $\mathbf{F}$，但计算方法比较复杂。实际中，我们可以选取 8 个点利用最小二乘法进行基础矩阵 $\mathbf{F}$ 估计，如下图所示：

值得注意的是，上述最小二乘法估计出来的 $\hat{\mathbf{F}}$ 是满秩矩阵（秩为 3），而实际的基础矩阵 $\mathbf{F}$ 的秩为 2，为此我们需要对 $\hat{\mathbf{F}}$ 做进一步优化，如下图所示：

八点算法的步骤总结如下：

八点法的精度较低，可能有 10 个像素以上的误差，主要原因有两个：

• 现在的图像的宽高都比较大，这导致 $uu,uv$ 与 $u,v$ 的数值相差较大，从而导致计算精度下降​​
• SVD 分解本身存在数值计算问题

4.3. 归一化八点法

5. 单应矩阵

单应矩阵反映了空间平面在两个摄像机下的投影几何，如下图所示：

单应矩阵的推导如下图所示：

单应矩阵估计方法如下图所示：

单应矩阵的性质如下图所示：

6. 总结