媲美满血R1+支持Agent，阿里推理模型QwQ-32B开源~

作者
深夜突发，阿里开源了最新的推理模型 QwQ-32B，有3大亮点：
  • 能够与当前最先进的推理模型DeepSeek-R1（满血哦，不是蒸馏） 和 o1-mini相媲美
  • 推理模型中集成了与 Agent 相关的能力，使其能够在使用工具的同时进行批判性思考，并根据环境反馈调整推理过程。
  • 小尺寸，不要671B，只要32B，推理门槛低
 QwQ-32B 与其他领先模型的性能对比，包括 DeepSeek-R1-Distilled-Qwen-32B、DeepSeek-R1-Distilled-Llama-70B、o1-mini 以及原始的 DeepSeek-R1。
体验地址：https://chat.qwen.ai/?models=Qwen2.5-Plus：支持思考、联网、Agent工具
QwQ-32B如何炼成的？
在冷启动的基础上开展了大规模强化学习：
  • 在初始阶段，特别针对数学和编程任务进行了 RL 训练。与依赖传统的奖励模型（reward model）不同，通过校验生成答案的正确性来为数学问题提供反馈，并通过代码执行服务器评估生成的代码是否成功通过测试用例来提供代码的反馈。
  • 在第一阶段的 RL 过后，增加了另一个针对通用能力的 RL。此阶段使用通用奖励模型和一些基于规则的验证器进行训练。通过少量步骤的通用 RL，可以提升其他通用能力，同时在数学和编程任务上的性能没有显著下降。
QwQ-32B技术要点
模型类型：因果语言模型训练阶段：预训练与后训练（包括监督微调和强化学习）架构：采用 RoPE、SwiGLU、RMSNorm 和注意力 QKV 偏置的 Transformer 架构参数数量：32.5B非嵌入层参数数量：31.0B层数：64 层注意力头数量（GQA）：Q 为 40 个，KV 为 8 个上下文长度：完整支持 131,072 个tokens
https://hf-mirror.com/Qwen/QwQ-32B

（文：PaperAgent）

欢迎分享

发表评论