OpenSearch 视频 RAG 实践

背景

RAG（Retrieval-Augmented Generation）技术通过结合信息检索与大模型生成能力，可以有效降低“幻觉率”，提升回答的准确性。目前，RAG 技术已广泛应用于多个领域，但主要集中于文本数据的处理。随着视觉语言模型（Vision-Language Models, VLM）和多模态向量模型的快速发展，RAG 的应用边界正在不断扩展，逐步从传统的纯文本场景延伸至多模态场景，其应用边界已扩展至视频等非结构化数据。视频 RAG 正是在这种背景下应运而生，它通过解析视频内容，提取其中的语义信息，并将其纳入到 RAG 流程中，为用户提供基于视频知识的智能问答与内容理解能力。

而视频作为高信息密度载体，广泛应用于教育、安防、直播等领域，但其语义解析与多模态融合仍面临挑战。视频 RAG 的核心在于对视频内容的处理与多模态信息的融合，其典型流程如图1所示。下面将详细介绍下 OpenSearch LLM 版中视频 RAG 的具体实现流程。

图1 视频 RAG 基本流程

离线流程

与传统 RAG 类似，分为解析→切片→向量化→索引构建四部分（图2）。下面将逐一介绍。

图2 视频 RAG 离线处理流程（不同颜色代表不同阶段）

1. 视频解析

视频解析主要包括两个核心任务：关键帧提取和音频识别（Audio Speech Recognition, ASR），旨在从原始视频中提取出具有语义价值的视觉与语音信息，为后续的检索提供高质量的数据输入。

1.1 关键帧提取

关键帧是指能够表示视频内容变化的代表性帧图像，通常出现在场景切换或视觉显著变化的时刻。通过提取关键帧，可以在不损失主要信息的前提下，大幅减少数据冗余，提升处理效率。

常见的关键帧提取方法包括：

• 固定帧率抽样

按照设定的时间间隔（如每秒1帧）对视频进行均匀采样，然后根据帧之间的相似度（如基于图像嵌入向量的余弦相似 度）进行去重，保留最具代表性的帧。

• 基于视觉差异

通过计算相邻帧之间的视觉差异（如直方图差异、SSIM 等），检测出画面突变点作为关键帧。

这里将两种方法进行了组合使用，以兼顾精度和效率。

1.2. 音频识别（ASR）

音频识别（ASR）是将视频中的语音内容转译为文本序列的过程。这一过程首先需要从视频中分离出音频轨道，随后利用语音识别模型（如 Whisper）将其转换为可读的文字内容（字幕）。

从后续的向量化过程可以发现，ASR 结果十分关键，因为它为后续的检索与生成提供了直接的输入来源，而关键帧仅作为视觉维度上的一个补充。

2. 视频切片

在完成关键帧提取和音频识别之后，下一步是将原始视频分割为多个语义相对完整、时间跨度合理的视频片段单元。

2.1. 切片生成策略

实际上每个关键帧都对应了一段起止时间，即对应了一个视频片段。然而，这些初始片段可能过于短暂，无法有效承载完整的语义内容。因此需要一些后处理策略对片段进行合并与优化：

• 基于 ASR 结果

将相邻的视频片段根据 ASR 识别出的语音文本进行语义关联，若两个片段在时间上连续且语义相关，则将其合并为一个更大的切片。

• 基于时间窗口

设定一个合理的时间阈值（如10秒），将短于该阈值的片段与其前后邻近片段进行整合，以形成更大的语义单元。

2.2. 切片数据结构

切片完成后，每个视频切片包含以下三个核心信息：

1. 元信息：包括该切片的起始时间和结束时间，用于定位其在原视频中的位置。
2. 字幕内容：ASR处理后的语音转文字的结果，记录了该切片中出现的对话或旁白内容。
3. 关键帧序列：因为上述的片段合并策略，所以一个切片中可能包含多个关键帧。

3. 切片向量化

3.1 单/多模态向量化（主链路）

根据用户配置的向量模型类型是否为多模态，系统采用不同的向量化策略以实现向后兼容性和灵活性：

• 多模态向量化

当使用多模态向量模型时，先分别对切片中的字幕内容和关键帧序列进行向量化，然后将字幕embedding 和关键帧 embedding 进行融合，这里采用加权平均的方式，得到最终视频切片的embedding。

• 单模态向量化（向后兼容）

若使用的是仅支持文本的向量模型，则仅基于字幕内容进行向量化，直接将字幕 embedding 作为视频切片的 embedding 表示。

3.2 细节强化（辅链路）

考虑到单一视频切片的 embedding 可能因信息过载而忽略某些细节，系统引入了另一条细粒度向量化链路作为补充：

1. 每个关键帧被单独视为一个独立切片单元；
2. 利用图像理解技术（如 OCR 或 VLM）将其转换为描述性文本；
3. 对生成的文本进行向量化处理，形成关键帧级别的 embedding。

目的是保留视频中关键帧的细节信息，为高精度匹配场景提供支持（如效果展示中的第一个例子）。

3.3 稠密 + 稀疏混合表示

除了稠密向量表示，系统还对每个切片的文本部分进行了稀疏向量化处理，用来表达关键词和权重信息，形成稠密+稀疏的混合表示。

4. 混合索引构建

最后进行稠密和稀疏向量的混合索引构建。这里直接复用 OpenSearch 向量检索版的混合检索能力，如图3所示。

图3 OpenSearch 向量检索版混合向量索引构建

在线流程

这里以 Naive RAG 为例，分为向量化→召回→AI生成三部分（图4）。也可以接入 Rerank、Deep Search 等高阶能力。

图4 视频 RAG 在线流程（不同颜色代表不同阶段）

首先，对用户的文本查询进行稠密与稀疏向量表示，使用的模型需与离线处理阶段保持一致。

然后利用 OpenSearch 向量检索版混合检索能力，召回到视频切片和关键帧描述切片（对应离线流程中的两条向量化链路）。

最后根据户选择的生成模型是否具备多模态处理能力组织上下文输入。如果支持多模态能力，则将召回的视频切片中的字幕文本、关键帧图像以及关键帧描述文本一并作为输入；如果不支持多模态能力则只使用字幕文本和关键帧描述文本，忽略图像信息。生成模型基于整合后的上下文信息，生成符合用户需求的回答。

效果展示

示例1：高精度匹配场景，问题答案出现在某一关键帧中

示例2：问题答案出现在视频语音中

结尾

视频 RAG 本质上是对数据源类型的扩充，从传统的 PDF、Word等 文本进一步扩展到视频领域。然而，在实践过程中，也容易遇到以下问题：

• 文本召回性能下降。由于另一种模态的数据加入，在文本和视频两种模态数据都存在的场景下，对多模态向量化模型提出了更高的要求。虽然多模态模型能融合视觉与文本信息，但其在纯文本检索任务上的表现往往不如专用的文本向量化模型。这可能导致在文本主导的问答任务中，出现语义匹配精度下降的问题。
• 另一方面，长视频处理效率低。相比文本数据，视频数据体量更大，处理时间显著增加，尤其对于长视频，离线处理时间可能需要几十分钟甚至更久。而且视频解析过程涉及大量的深度学习模型（如 ASR、VLM 等），计算开销大。为了加速视频解析，需依赖GPU等高性能算力，对部署成本要求更高。

OpenSearch LLM 版通过创新的视频解析流程与多模态融合策略，为这些问题提供了可行的解决方案。未来，随着多模态模型效率的提升与视频处理技术的迭代，视频RAG有望进一步突破边界，成为多模态智能问答领域的核心技术支柱，推动非结构化数据的价值释放与应用场景的持续扩展。

• 了解更多：OpenSearch