PyTorch生成式人工智能——使用MusicGen生成音乐

0. 前言

大语言模型在许多领域都取得了巨大成功，除了生成文本和图像外，也可以将大模型(通常基于 Transformer )用于其他任务。例如，可以创建一个大音乐模型，接受文本提示作为输入，并生成音乐作为输出。MusicGen 是音乐生成大模型中的前沿代表，通过 audiocraft 库可以轻松使用 MusicGen。

1. MusicGen 简介

MusicGen 是 Meta 开源的 AI 音乐生成模型，属于 AudioCraft 音频生成框架的一部分。该模型基于 Transformer 架构，能够将文本描述或现有旋律转化为完整的音乐片段，支持多语言输入和多样化音乐风格的生成。接下来，从架构设计和生成过程两个维度详细解析其技术实现。

1.1 架构设计

MusicGen 的技术突破在于其精简而强大的模型架构上，主要包含三大关键设计：

• 单阶段自回归模型：MusicGen 采用单阶段自回归 Transformer，直接预测音频序列的下一个部分，无需级联多个模型(如分层或上采样模型)
• EnCodec 编码器：利用 EnCodec 音频分词器将音频分解为 4 个编码索引 (Codebook)，每个编码索引以 50 Hz 采样，并通过并行处理提升生成效率
• 多模态输入：支持文本 + 旋律组合输入，例如输入“轻快的曲目”并指定贝多芬的《欢乐颂》旋律，模型会融合风格与旋律生成新音乐

1.2 音乐生成过程

MusicGen 的生成过程可分为三个过程，通过协同处理文本与音频输入实现可控输出：

• 文本编码：文本提示通过预训练语言模型编码为语义向量，捕获"激昂的钢琴曲"等抽象描述的深层含义
• 音频编码：输入旋律(如有)被转换为 EnCodec 的离散词元，保留原始旋律的节奏与音高特征
• 联合解码：模型基于文本和旋律的编码结果，自回归生成音频标记序列，最终通过解码器还原为波形音频，这一过程实现了语义与声学特征的动态平衡

2. MusicGen 优势

MusicGen 区别于其他音乐生成模型的核心竞争力体现在三个方面，包括高效的生成速度、灵活的用户控制能力以及专业级的音频质量，具体而言：

• 高效生成
  • 并行处理：通过单阶段架构和码本延迟策略，每秒音频仅需 50 步预测
  • 多参数版本：提供 3 亿、15 亿、33 亿参数版本的模型
• 灵活控制
  • 文本与旋律融合：用户可通过文本设定风格(如“交响乐”)，并结合现有旋律(如 MIDI 文件)引导生成过程
  • 情感与细节调节：支持指定速度、乐器类型等参数，生成更符合需求的音乐
• 高质量输出
  • 客观评测领先：在音乐与文本匹配度、作曲可信度等指标上，MusicGen 表现优于 MusicLM、Riffusion 等模型
  • 立体声支持：可生成单声道或立体声音频，适应专业创作需求

3. 使用 MusicGen 生成音乐

(1) 首先，安装 Audiocraft 库：

$ pip install audiocraft

(2) 接下来，加载模型并设置音乐生成时长：

from audiocraft.models import musicgen
import torchmodel = musicgen.MusicGen.get_pretrained("facebook/musicgen-medium", device="cuda")
model.set_generation_params(duration=8)

(3) 最后，向模型传递提示，并生成音乐：

generated_music = model.generate(["80s rock music with drums and electric guitar", "90s retro action game music"],progress=True,
)

(4) 在 notebook 中播放音乐：

from audiocraft.utils.notebook import display_audio
display_audio(generated_music, 32000)

可以使用不同的提示生成音乐。可以将这些生成的音乐用于你的创意工作，例如为正在开发的游戏制作大量音乐，或者可以创建一个应用程序，让用户生成音乐并相互分享。MusicGen 还支持音频提示，这意味着可以输入一段特定音乐样本，改变其风格。

相关链接

PyTorch生成式人工智能实战：从零打造创意引擎
PyTorch生成式人工智能（1）——神经网络与模型训练过程详解
PyTorch生成式人工智能（2）——PyTorch基础
PyTorch生成式人工智能（3）——使用PyTorch构建神经网络
PyTorch生成式人工智能（4）——卷积神经网络详解
PyTorch生成式人工智能（5）——分类任务详解
PyTorch生成式人工智能（6）——生成模型（Generative Model）详解
PyTorch生成式人工智能（18）——循环神经网络详解与实现
PyTorch生成式人工智能（19）——自回归模型详解与实现
PyTorch生成式人工智能（24）——使用PyTorch构建Transformer模型
PyTorch生成式人工智能（25）——基于Transformer实现机器翻译
PyTorch生成式人工智能（26）——使用PyTorch构建GPT模型
PyTorch生成式人工智能（27）——从零开始训练GPT模型
PyTorch生成式人工智能（28）——MuseGAN详解与实现
PyTorch生成式人工智能——Hugging Face环境配置与应用详解