近日，强化学习在提升模型推理能力方面的潜力得到了新的验证。据悉，一种名为DeepSeek-R1的模型，通过结合冷启动数据和多阶段训练策略，成功展现了卓越的性能，特别是在深度思考和复杂推理任务上。
在此基础上，阿里云通义千问团队宣布推出其最新的推理模型QwQ-32B，该模型拥有惊人的320亿参数。令人瞩目的是，尽管参数规模远小于DeepSeek-R1的6710亿参数（激活370亿），QwQ-32B的性能却能够与之比肩。
这一突破彰显了强化学习在预训练大模型上的强大应用效果。不仅如此，QwQ-32B还集成了与智能体相关的能力，能够在使用工具的同时进行批判性思考，并根据环境反馈动态调整推理路径。这一创新使得QwQ-32B在复杂场景下的表现更为出色。
目前，QwQ-32B已在Hugging Face和ModelScope平台开源，并遵循Apache 2.0协议。用户可以通过这些平台或Qwen Chat直接体验这一先进模型。
在性能测试方面，阿里云对QwQ-32B进行了全面的评估，包括数学推理、编程能力和通用能力。结果显示，QwQ-32B在数学评测集AIME24和代码评测集LiveCodeBench上的表现与DeepSeek-R1相当，远超同尺寸的R1蒸馏模型及o1-mini。在LiveBench、IFeval和BFCL等多个权威评测中，QwQ-32B的得分均超越了DeepSeek-R1。
阿里云表示，QwQ-32B的成功是大规模强化学习在增强推理能力方面迈出的重要一步。这一过程中，团队不仅见证了强化学习的巨大潜力，还发现了预训练语言模型中尚未挖掘的无限可能。
展望未来，阿里云计划将更强大的基础模型与强化学习相结合，并依托规模化计算资源，推动下一代Qwen模型的发展。团队正积极探索智能体与强化学习的集成，以实现长时推理，旨在通过推理时间的扩展，解锁更高的智能水平。
