当前位置：首页 > web >正文

Qwen3开源最新Embedding模型

web 2025/6/23 19:03:20

导语

Qwen3-Embedding 是构建于 Qwen3 基础模型上的新一代文本嵌入与重排序模型系列，显著提升了多语言理解、代码检索与复杂指令任务中的表现。该系列模型覆盖三个参数规模（0.6B、4B、8B），并通过多阶段训练策略，结合大规模弱监督合成数据、有监督微调与模型融合，最终在多个基准测试中取得了当前最优性能。

论文标题：Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models
论文链接：https://arxiv.org/pdf/2506.05176
项目地址：https://github.com/QwenLM/Qwen3-Embedding

1 引言

文本嵌入（Text Embedding）与重排序（Reranking）是现代自然语言处理（NLP）系统的核心技术，广泛应用于搜索、问答、推荐等场景。随着 LLM（如 Qwen3、GPT-4o）的进展，检索增强生成（RAG）和智能体系统推动了文本语义建模的新需求。Qwen3-Embedding 系列通过构建在 Qwen3 模型之上，提出新的训练范式，应对多语言、大规模、多任务嵌入与重排序挑战。
在这里插入图片描述

2 方法

2.1 模型架构

Qwen3-Embedding 与 Qwen3-Reranker 基于 Qwen3 dense 架构，支持三种模型规模：0.6B、4B、8B。

嵌入模型使用因果注意力结构，输入格式为：{Instruction} {Query}<|endoftext|>，最终嵌入由 [EOS] token 的隐藏状态生成。
重排序模型通过 Chat 模板将相似度判断转化为二分类问题，模型输出 “yes”/“no” 的概率用于计算打分：

2.2 多阶段训练流程

在这里插入图片描述

训练共三阶段：

① 弱监督预训练

使用 Qwen3-32B 生成的150M对合成文本，任务类型覆盖检索、STS、分类、双语对齐。优化目标为对比学习损失：
在这里插入图片描述

② 有监督微调

筛选出相似度（cosine similarity）大于 0.7 的约12M对高质量样本和7M有标签数据集，继续训练。

③ 模型融合

使用球面线性插值（slerp）融合多个微调模型，提升泛化能力。原文描述如下：

after completing the supervised f ine-tuning, we applied a model merging technique based on spherical linear interpolation (slerp). This technique involves merging multiple model checkpoints saved during the fine-tuning process.

表 1展示了所有Qwen3 Embedding 模型结构参数与功能支持。
在这里插入图片描述