音视频学习（四十二）：H264帧间压缩技术

必要性与优势

原始数字视频数据量庞大，未经压缩的视频难以有效传输和存储。例如，一个 1080p、30fps 的无压缩视频，每秒数据量可达数百兆比特。视频压缩的目标是在保证视觉质量的前提下，最大限度地减少数据冗余。视频数据中存在多种冗余，包括：

• 空间冗余（Spatial Redundancy）：图像内部像素之间的相关性。
• 时间冗余（Temporal Redundancy）：视频序列中相邻帧之间的相似性。
• 视觉冗余（Perceptual Redundancy）：人眼对某些信息不敏感。

帧间压缩主要针对时间冗余。与仅利用帧内空间冗余的帧内编码（Intra-frame Coding）不同，帧间编码通过利用视频序列中帧与帧之间的相似性来显著提高压缩效率。其核心思想是，如果当前帧的某个区域与参考帧（Reference Frame）中的某个区域相似，则无需传输当前区域的全部信息，只需传输其与参考区域的差异（残差）以及指示参考区域位置的信息（运动矢量）。这种方法可以极大地减少需要编码的数据量。

H.264 在其前身标准（如 MPEG-2、H.263）的基础上，对帧间预测技术进行了多项创新和改进，从而实现了更高的压缩比和更好的图像质量。

核心原理：预测与残差编码

H.264 帧间压缩的基本流程可以概括为预测、残差计算与编码：

1. 运动估计（Motion Estimation, ME）：在当前待编码的宏块（Macroblock，H.264 中基本编码单元，通常为 16x16 像素）中，在已编码的参考帧中搜索最佳匹配块。这个搜索过程会产生一个运动矢量（Motion Vector, MV），它指示了当前块在参考帧中的位移。
2. 运动补偿（Motion Compensation, MC）：根据运动矢量，从参考帧中提取预测块。这个预测块是对当前宏块内容的估计。
3. 残差计算（Residual Calculation）：将当前宏块的原始像素值与运动补偿得到的预测块进行相减，得到残差（Residual）。理想情况下，如果预测准确，残差会非常小，甚至接近于零。
4. 残差编码：对残差进行变换（离散余弦变换，DCT）、量化和熵编码。由于残差通常能量集中且大部分值为零或接近零，因此可以被高效地编码。
5. 运动矢量编码：对运动矢量进行预测和熵编码。运动矢量通常具有空间和时间上的相关性，可以被有效压缩。
6. 解码端重建：解码器接收到运动矢量和残差后，根据运动矢量从参考帧中提取预测块，然后将预测块与解码后的残差相加，即可重建出当前宏块。

这个预测-残差的循环过程是帧间压缩的精髓，它将视频编码从直接编码像素值转换为编码相对较小的残差和运动信息。

帧间压缩

多参考帧预测（Multiple Reference Pictures）

传统的视频编码标准通常只允许使用一到两帧作为参考帧（例如，MPEG-2 只能参考前一帧或后一帧）。H.264 显著增强了这一能力，允许编码器从一个多达 16 个已编码帧的参考帧列表中选择最佳的预测帧。

• 优势：
  • 提高预测准确性：当视频内容发生复杂运动（如遮挡、揭示、快速切换）时，或者由于编码帧率与拍摄帧率不匹配导致抖动时，多参考帧可以提供更多选择，从而找到更接近当前块的预测块，有效降低残差能量。
  • 应对复杂的运动模式：对于非线性运动或周期性运动，多参考帧能更好地捕捉物体运动轨迹。
  • 处理场景切换：即使在场景切换后，也可以从更早的帧中找到相似内容，避免不必要的 I 帧插入。
• 实现机制：编码器维护一个参考帧列表，并通过对每个宏块或子宏块选择一个列表中的参考帧和相应的运动矢量来进行预测。解码器需要也维护同样的参考帧列表来正确解码。

可变块大小运动补偿（Variable Block Size Motion Compensation）

在 H.264 中，宏块不再局限于单一的 16x16 像素块，而是可以进一步细分为更小的子块进行独立的运动估计和补偿。一个 16x16 的宏块可以被划分为：

• 16x16
• 16x8
• 8x16
• 8x8

而 8x8 的子块还可以进一步递归地划分为：

• 8x8
• 8x4
• 4x8
• 4x4

总共有 7 种不同的分区模式，每种模式都有其对应的运动矢量。

• 优势：
  • 更精细的运动表示：对于图像中不同大小和形状的运动物体，可以更精确地匹配其运动，减少残差。例如，对于较大的平坦区域，使用 16x16 块可以节省运动矢量比特；对于包含精细纹理或复杂运动的小区域，使用 4x4 块可以提供更准确的预测。
  • 提高编码效率：通过为不同运动特性的区域选择最合适的块大小，可以最大程度地降低残差能量，从而减少编码比特数。
  • 适应各种内容：无论是包含平滑运动的视频（如人物对话），还是包含复杂细节和快速运动的视频（如体育赛事），可变块大小都能提供更好的适应性。
• 实现机制：编码器在编码一个宏块时，会尝试不同的分区模式，并根据率失真优化（Rate-Distortion Optimization, RDO）选择最佳模式。解码器通过解析宏块头中的分区信息来确定如何进行运动补偿。

四分之一像素精度运动估计与补偿（Quarter-Pixel Accuracy Motion Estimation and Compensation）

在 H.264 之前，运动补偿的精度通常为半像素或整数像素。H.264 引入了四分之一像素（Quarter-Pixel）精度的运动估计和补偿。这意味着运动矢量不再局限于整数像素坐标，而是可以指向四分之一像素位置。

• 优势：
  • 更准确的预测：通过亚像素插值，即使物体只移动了小于一个像素的距离，也能找到更精确的匹配，从而生成更小的残差。这对于慢速运动和高清晰度视频尤为重要。
  • 降低残差能量：更精细的预测意味着残差图像的能量更低，从而减少了编码残差所需的比特数，提高了压缩效率。
• 实现机制：
  • 插值滤波器：为了从整数像素位置生成亚像素位置的像素值，H.264 定义了特定的插值滤波器。对于半像素位置，使用 6 抽头维纳滤波器进行插值；对于四分之一像素位置，则通过对整数像素和半像素位置的线性插值获得。
  • 计算量增加：四分之一像素精度的运动估计和补偿显著增加了计算复杂性，但在性能提升方面带来了巨大的回报。

加权预测（Weighted Prediction）

加权预测允许预测块在与残差相加之前，先进行加权和偏移处理。这对于处理亮度变化（如淡入淡出、闪烁）、交叉淡化或场景亮度变化的视频内容非常有效。

• 优势：
  • 适应亮度变化：当视频帧整体亮度发生变化时，传统的运动补偿会产生较大的残差。加权预测通过调整预测块的亮度和对比度，可以显著减少这种场景下的残差。
  • 提高编码效率：尤其在电影胶片数字化、视频特技效果等场景中，加权预测能够极大地降低编码比特率，同时保持视觉质量。
• 实现机制：预测块 P(x,y) 与当前块 C(x,y) 之间的关系变为： P′(x,y)=weight×P(x,y)+offset 其中 P′(x,y) 是加权后的预测块。编码器会计算并传输 weight 和 offset 参数。

双向预测（Bi-directional Prediction, B-frames）

H.264 沿用了 MPEG 标准中的 B 帧概念，并对其进行了增强。B 帧（Bi-predicted Picture）可以同时参考前面和后面的已编码帧进行预测。

• 优势：
  • 更高的压缩比：当一个物体在两帧之间发生运动时，单向预测（P 帧）只能从一侧进行预测。而双向预测可以结合前后两帧的信息，通常能找到更准确的匹配，从而生成更小的残差。这使得 B 帧通常比 P 帧和 I 帧拥有更高的压缩效率。
  • 更灵活的参考列表：H.264 允许 B 帧使用两个独立的参考帧列表 (List 0 和 List 1)，每个列表可以包含不同的参考帧，并且每个子块可以独立选择使用 List 0、List 1 或两者结合进行预测。这种灵活性进一步提升了 B 帧的预测能力。
  • Direct Mode 预测：H.264 为 B 帧提供了一种特殊的 Direct 模式，可以根据相邻宏块的运动矢量和时间距离自动推导出当前宏块的运动矢量，进一步节省了运动矢量的编码比特。
• 实现机制：一个 B 帧的宏块可以有以下几种预测模式：
  • List 0 预测：只使用 List 0 中的参考帧进行预测。
  • List 1 预测：只使用 List 1 中的参考帧进行预测。
  • 双向预测：同时使用 List 0 和 List 1 中的参考帧进行预测，并对两个预测块进行加权平均。

运动矢量预测（Motion Vector Prediction, MVP）

运动矢量本身也需要编码，而它们通常也存在冗余。H.264 利用运动矢量的空间和时间相关性进行预测。当前宏块的运动矢量可以根据其相邻宏块（左侧、上方、右上角）的运动矢量进行预测，也可以从时间上相邻的宏块进行预测。

• 优势：
  • 减少运动矢量比特数：通过预测，只需编码运动矢量与预测值之间的差异（即运动矢量残差），这通常比直接编码完整的运动矢量要小得多，从而节省了大量比特。
  • 提高编码效率：运动矢量预测是 H.264 编码效率提升的重要组成部分。
• 实现机制：编码器根据预定义的规则，从相邻已编码宏块中选择一个或多个运动矢量作为候选预测值，并根据当前宏块的运动选择最佳预测值。

挑战与优化

运动估计的计算复杂度

运动估计是帧间编码中最耗时的部分。在多参考帧、可变块大小和亚像素精度的情况下，搜索空间巨大。为了降低计算复杂度，通常采用以下策略：

• 分级搜索：先在大步长范围内搜索，再逐步缩小搜索范围。
• 快速算法：如菱形搜索、六边形搜索、TSS (Three Step Search) 等，通过跳过不必要的搜索点来加速。
• 硬件加速：ASIC、FPGA 或 GPU 在并行计算方面具有优势，可以加速运动估计。

参考帧管理

多参考帧虽然提高了预测精度，但需要维护和管理多个参考帧的缓存。H.264 引入了**参考帧管理（Reference Picture Management）机制，通过内存管理控制操作（Memory Management Control Operations, MMCO）**来指示解码器如何处理参考帧。这包括：

• 短期参考帧：通常是最近解码的几帧，用于快速预测。
• 长期参考帧：可以是非连续的帧，用于某些特殊场景（如叠加层、长时间静止背景）的预测。
• 滑动窗口模式：最常用的模式，新解码的帧加入参考列表，最旧的帧被移除。
• 自适应内存管理：编码器可以灵活地管理参考帧，以优化性能。

率失真优化（Rate-Distortion Optimization, RDO）

H.264 广泛采用 RDO 来在编码模式选择中实现最佳的比特率和图像质量平衡。对于帧间编码，RDO 会评估不同的分区模式、运动矢量、参考帧选择等，并选择一个能够最小化编码比特数与图像失真乘积的模式。

• 原理：最小化 J=D+λR，其中 D 是失真（如 SAD, SSE），R 是比特率，λ 是拉格朗日乘子，用于平衡比特率和失真。
• 应用：RDO 在宏块级别、子宏块级别甚至运动矢量预测级别上进行，确保每个决策都是最优的。

环路滤波（Loop Filter）

H.264 引入了去块效应滤波（Deblocking Filter），该滤波器在编码环路内部（即在重建图像用于后续帧预测之前）应用。

• 目的：视频编码过程中，量化操作会导致块边界处出现明显的块效应（Blockiness），尤其是在低比特率下。去块效应滤波器旨在平滑这些边界，改善视觉质量。
• 优势：
  • 提高预测精度：经过滤波的图像作为参考帧，可以为后续帧提供更平滑、更准确的预测源，从而减少残差。
  • 改善主观视觉质量：显著减少了画面中的块状伪影，使视频看起来更自然。

帧间编码的类型：P 帧和 B 帧

H.264 中用于帧间压缩的帧类型主要有两种：

P 帧 (Predicted Picture)

P 帧是单向预测帧。它们只能参考前面的已编码帧进行预测。一个 P 帧的宏块可以是一个帧间编码宏块，也可以是一个帧内编码宏块（当预测效果不佳时）。

• 特点：
  • 依赖于之前的帧。
  • 压缩效率高于 I 帧，低于 B 帧。
  • 在视频序列中扮演着承上启下的角色。

B 帧 (Bi-predicted Picture)

B 帧是双向预测帧。它们可以同时参考前面和后面的已编码帧进行预测。由于双向预测的灵活性和更高的预测精度，B 帧通常具有最高的压缩效率。

• 特点：
  • 依赖于之前和/或之后的帧，因此在解码时需要对帧进行重新排序（Reordering）。
  • 压缩效率最高，可以显著降低比特率。
  • 引入了解码延迟，因为需要等到后面的参考帧解码后才能解码 B 帧。

总结

H.264 的帧间压缩技术是其成为高效视频编码标准的基石。通过引入多参考帧预测、可变块大小运动补偿、四分之一像素精度、加权预测、增强的双向预测以及运动矢量预测等一系列创新，H.264 在其诞生之初就将视频压缩效率提升到了一个前所未有的水平。

这些技术的协同作用使得 H.264 能够：

• 在相同视觉质量下，比 MPEG-2 节省 50% 以上的比特率。
• 适应各种复杂的视频内容，从静止场景到快速运动。
• 支持从标清到高清，甚至超高清的视频分辨率。

H.264 帧间压缩的成功，为后续的视频编码标准（如 H.265/HEVC 和 H.266/VVC）奠定了坚实的基础，许多核心思想和技术创新在后继标准中得到了进一步的演进和增强。例如，H.265/HEVC 将编码单元从宏块扩展到编码树单元（CTU），并引入了更灵活的分区结构和更复杂的运动补偿，但其核心仍然是 H.264 所确立的帧间预测框架。