介绍GSPO：一种革命性的语言模型强化学习算法
介绍GSPO：一种革命性的语言模型强化学习算法
近年来，强化学习（RL）已成为训练大型语言模型（LLMs）的关键技术之一，尤其是在推动模型在数学、编程等复杂推理任务上的表现。然而，现有的RL算法（如GRPO）在训练大规模模型时常常面临稳定性差、易发生灾难性崩溃等问题。为了解决这些根本性挑战，阿里巴巴Qwen团队提出了一种全新的强化学习算法——Group Sequence Policy Optimization (GSPO)，该算法在训练稳定性、效率和最终性能方面均显著优于现有方法。
一、背景与动机
传统的RL算法（如PPO、GRPO）大多基于token级别的重要性采样（importance sampling）进行策略优化。GRPO虽避免了价值模型的使用，但其token级的重要性权重设计存在根本缺陷：每个token的权重仅基于单个样本计算，无法有效纠正分布偏差，反而引入高方差噪声。随着响应长度增加，这种噪声会累积并最终导致模型崩溃，且往往不可逆转。
GSPO的提出正是基于这样一个核心洞察：优化目标的最小单位应与奖励的授予单位一致。既然奖励是针对整个响应序列（sequence）给出的，那么重要性采样和优化也应在序列级别进行。
二、GSPO的核心思想
GSPO算法摒弃了token级别的重要性比率，转而使用序列级别的重要性比率，定义为：
该比率反映了从旧策略中采样的响应在新策略下的偏离程度，与序列级别的奖励自然对齐。GSPO的优化目标如下：
三、GSPO的优势
1. 训练稳定性显著提升
GSPO从根本上解决了GRPO中因token级权重不稳定导致的训练崩溃问题。实验表明，GSPO能够持续稳定训练，即便在生成长响应或训练混合专家模型（MoE）时也是如此。
2. 更高的训练效率
尽管GSPO会裁剪掉更多token，但其序列级别的梯度估计更加高效和可靠，从而在相同计算量和查询次数下取得更好的训练效果和基准性能。
3. 适用于MoE模型
GSPO天然克服了MoE模型中专家激活波动带来的训练不稳定问题，无需依赖复杂的“路由回放”（Routing Replay）策略，简化了训练流程并降低了内存与通信开销。
4. 简化RL基础设施
由于GSPO仅依赖序列级别的似然计算，其对计算精度差异的容忍度更高，使得直接使用推理引擎（如vLLM）返回的似然值进行优化成为可能，从而避免了训练引擎的重复计算。
四、实验效果
团队在基于Qwen3-30B-A3B-Base的冷启动模型上进行了实验，在AIME’24、LiveCodeBench和CodeForces等基准测试中，GSPO均显著优于GRPO。训练过程中，GSPO表现出持续的奖励提升和性能改进，展现了其在大规模RL扩展中的强大潜力。
五、总结与展望
GSPO不仅是一种更加稳定和高效的RL算法，更是推动语言模型智能进一步发展的关键技术。其序列级别的优化理念与奖励机制的自然对齐，为未来RL训练提供了新的理论基础和实践路径。阿里巴巴Qwen团队已将GSP成功应用于Qwen3系列的训练中，取得了显著性能提升，并将继续推动RL技术在大模型训练中的规模化应用。
论文链接：https://arxiv.org/pdf/2507.18071