阿里Qwen3一口气开源多个向量&排序模型，冲！

作者
今天，阿里正式开源了Qwen3-Embedding和Qwen3-Reranker系列——为多语言文本嵌入和相关性排序树立了新的标杆！
✨ 亮点： 
  • 提供0.6B/4B/8B三种版本 
  • 支持119种语言 
  • 在MMTEB、MTEB和MTEB-Code上达到了最先进的性能 
🔍 赋能多种应用场景：
  • 文档检索、检索增强生成（RAG）、分类、情感分析、代码搜索等！
模型已经开源在Hugging Face和ModelScop，提供多种尺寸选择：
另外，Qwen3-Embedding的技术报告也公开了：
基于Qwen3基础模型，嵌入模型和重排序模型采用了双塔结构和单塔结构。通过LoRA微调，旨在充分保留并增强基础模型的文本理解能力。
  • 嵌入模型以单个文本片段作为输入，利用最终的[EOS]标记对应的隐藏状态向量来提取语义表示。
  • 重排序模型以文本对（如用户查询和候选文档）作为输入，通过单塔结构计算并输出文本对之间的相关性分数。
Qwen3嵌入系列的训练框架遵循了GTE-Qwen系列所建立的多阶段训练范式。在嵌入模型的训练过程中，实施了三阶段训练结构：
  • 第一阶段涉及使用大量弱监督数据进行对比预训练；
  • 第二阶段专注于使用高质量标注数据进行监督训练；
  • 第三阶段通过合并策略整合多个候选模型，以提升整体性能。
对于重排序模型，基于经验验证结果，直接使用高质量标注数据进行监督训练，显著提高了训练效率。值得注意的是，在嵌入模型的弱监督训练第一阶段，开发了一种创新的多任务适应性提示系统。通过利用Qwen3基础模型的文本生成能力，我们针对不同任务类型和语言动态生成了定制化的弱监督文本对。

Hugging Face：  Qwen3-Embedding: https://huggingface.co/collections/Qwen/qwen3-embedding-6841b2055b99c44d9a4c371f…  Qwen3-Reranker: https://huggingface.co/collections/Qwen/qwen3-reranker-6841b22d0192d7ade9cdefea…ModelScope：  Qwen3-Embedding: https://modelscope.cn/collections/Qwen3-Embedding-3edc3762d50f48…  Qwen3-Reranker: https://modelscope.cn/collections/Qwen3-Reranker-6316e71b146c4f…GitHub : https://github.com/QwenLM/Qwen3-EmbeddingBlog : https://qwenlm.github.io/blog/qwen3-embedding/Paper： https://arxiv.org/pdf/2506.05176

（文：PaperAgent）

发表评论

×

下载每时AI手机APP

 

和大家一起交流AI最新资讯！

立即前往