阿里通义实验室突破空间音频新纪元！OmniAudio让360°全景视频“声”临其境

在虚拟现实和沉浸式娱乐快速发展的今天，视觉体验已经远远不够，声音的沉浸感成为打动用户的关键。然而，传统的视频配音技术往往停留在“平面”的音频层面，难以提供真正的空间感。阿里巴巴通义实验室（Qwen Lab）旗下的语音团队最近取得了一个重大突破 —— OmniAudio 技术，能够直接从360°视频中生成空间音频（FOA），真正实现了“所见即所听”，大幅提升虚拟现实中的沉浸感。

---

为什么空间音频如此重要？

想象一下你戴着VR头显，站在一个繁忙的城市广场。如果你只听到“立体声”，你可能只能感受到声音的左右方向；但如果你听到一个小贩从你后方推车经过、前方的街头艺人正在唱歌、右上方的钟楼敲响，你的身体会自然转向声音来源——这正是**空间音频（Spatial Audio）**带来的沉浸感。

**FOA（First-order Ambisonics）**是一种主流的空间音频格式，它用4个声道（W, X, Y, Z）来描述声音的位置和方向。简单来说，如果你把听觉比作摄影，这种格式就像是“全景相机”，可以捕捉整个空间的声音场景，而不仅仅是某一个角度。

---

现有技术的痛点：角度太“死板”

虽然空间音频的技术已存在一段时间，但目前很多视频生成音频的方法都存在明显的缺陷：

• 只处理固定视角的视频，无法真正体现“环绕”音效；

• 生成的是“普通”音频，缺乏声音方向感；

• 忽视了360°视频本身蕴含的丰富视觉线索。

而随着360°相机的普及和VR内容的兴起，观众越来越期待音画一致的沉浸体验——而这正是OmniAudio所要解决的难题。

---

Qwen Lab 的解法：360V2SA 任务 + Sphere360 数据集

为了解决这个痛点，研究团队提出了一个全新的任务定义：360V2SA（360-degree Video to Spatial Audio）。意思就是：让360°视频配上真正匹配其空间结构的音频。

但这里面有一个大难题——数据匮乏。

训练AI模型需要大量的视频+空间音频配对数据，而现实中360°视频和FOA音频的组合极其稀缺。为此，团队构建了一个超大规模数据集 Sphere360：

• 包含 103,000+ 真实视频片段；

• 覆盖 288类音频事件（如掌声、引擎声、鸟叫等）；

• 总时长达到 288小时；

• 所有数据都经过严格清洗和对齐，确保“看得见”的画面与“听得见”的声音严格对应。

---

OmniAudio 是如何学习“空间感”的？

OmniAudio 的训练分为两个阶段，可以类比为“先学基础，再练精细”：

✅ 阶段一：自学成才（Self-Supervised）

团队利用海量的普通立体声数据，先“伪造”出假FOA（称为“伪FOA”），让模型通过一种叫“流匹配（flow-matching）”的方法，自己摸索声音的时间结构和空间规律。

类比一下：就像你用模糊地图自学城市布局，虽然不精确，但能掌握大致方位和路线感。

为了让模型更强健，团队还故意“打码”音频片段（即随机遮住部分时间段），让模型学会“脑补”缺失的信息。这一步帮助它打下了很好的“声音空间感”基础。

✅ 阶段二：精雕细琢（Supervised Fine-tuning）

接着，团队拿出真实的FOA音频数据，结合视频的“双分支视觉编码器”（可以同时提取场景信息和运动信息），进一步精细训练模型，让它能够根据画面“雕刻”出精准的空间音轨。

最终，OmniAudio 能够根据画面中的视觉线索，比如“汽车从左边开过来”，输出与之完美匹配的空间音频。

---

效果如何？超越所有对手！

在测试阶段，研究团队使用了两个测试集：Sphere360-Bench 和 YT360-Test，并使用了客观指标（如 FD、KL、ΔAngular）和主观评测（人类听感打分）来对比性能。

结果非常惊艳：

• OmniAudio 在所有指标上全面超越现有所有方法；

• 人类主观评分中，OmniAudio 的空间感、清晰度、画面与声音的同步度均高于最佳对比模型；

• 消融实验也验证了：预训练策略、双分支视觉建模、模型规模等设计对提升性能缺一不可。

---

虚拟世界的声音革命

OmniAudio 的出现，意味着我们离真正“沉浸式音画合一”的虚拟现实更近了一步。未来，无论是VR游戏、线上展览、虚拟旅游，还是影视制作，都将有机会用更真实、更细腻的声音打动用户。

空间音频，不再是“高端专属”，而是即将走入大众视野的“听觉革命”。