视差场（disparity field）

视差场（disparity field）是立体视觉中的一个重要概念，用于描述两幅立体图像之间像素的对应关系。以下是对视差场的详细解释：

1. 视差（Disparity）的定义

• 视差是指同一场景点在两幅立体图像中的像素位置差异。具体来说，假设有一个场景点$P$，它在左图像中的像素坐标为$(x_L,y_L)$，在右图像中的像素坐标为$(x_R,y_R)$。那么，该点的视差$d$ 定义为：
  $$d=x_L-x_R$$
• 视差通常是水平方向的差异（因为立体相机通常是水平排列的），但也可以是垂直方向的差异（在某些特殊情况下）。

2. 视差场（Disparity Field）的定义

• 视差场是一个二维数组（或图像），其中每个像素的值表示该像素在两幅立体图像中的视差。换句话说，视差场是一个映射，将左图像（或右图像）中的每个像素映射到右图像（或左图像）中的对应像素。
• 如果用数学符号表示，假设$I_L$是左图像，$I_R$是右图像，视差场$D$是一个函数：
  $$D:(x_L,y_L)\mapsto d$$
  其中$d$是左图像中的像素$(x_L,y_L)$在右图像中的对应像素的视差。

3. 视差场的作用

• 深度估计：视差场是计算深度信息的关键。根据三角测量原理，深度$Z$可以通过视差$d$和已知的相机基线$B$以及焦距$f$来计算：
  $$Z=\frac{B\times f}{d}$$
  因此，视差场提供了从图像平面到三维空间的深度信息。
• 三维重建：视差场可以用于从两幅立体图像重建三维场景。通过计算每个像素的深度，可以生成场景的三维点云或深度图。
• 运动估计：在运动场景中，视差场可以用于估计物体的运动。如果物体在两幅图像中的位置发生变化，视差场可以反映这种变化。

4. 视差场的计算

• 块匹配算法：这是最常用的计算视差场的方法之一。它通过在左图像中搜索与右图像中相似的块（通常是小的矩形区域）来计算视差。例如，对于左图像中的每个像素$(x_L,y_L)$，在右图像中搜索一个与之最相似的像素$(x_R,y_R)$，计算视差$d=x_L-x_R$。
• 深度学习方法：近年来，深度学习方法也被广泛用于计算视差场。例如，卷积神经网络（CNN）可以学习从立体图像对中直接预测视差场。这些方法通常比传统方法更准确，但计算复杂度更高。

5. 视差场的可视化

• 视差场通常以灰度图像的形式可视化。每个像素的灰度值表示该像素的视差大小。视差越大，灰度值越高；视差越小，灰度值越低。通过这种方式，可以直观地看到两幅图像之间的对应关系。

6. 例子

假设有一对立体图像，左图像中有一个人站在前景，背景是一棵树。在视差场中：

• 前景中的人的视差值会比较大（因为离相机近），因此在视差场图像中会显示为较亮的区域。
• 背景中的树的视差值会比较小（因为离相机远），因此在视差场图像中会显示为较暗的区域。

总结

视差场是一个描述两幅立体图像之间像素对应关系的二维数组。它在深度估计、三维重建和运动估计中起着关键作用。通过计算视差场，可以从立体图像对中提取出场景的深度信息。