DeepSeek-R1-Distill-Qwen-1.5B 在某些基准测试中超越了 GPT-4o

发布日期：2025-01-22 07:51:40 浏览次数： 8414

作者：Halo咯咯

微信搜一搜，关注“Halo咯咯”

.01

概述

随着人工智能领域的快速发展，推理能力已经成为了衡量大规模语言模型（LLMs）性能的一个重要指标。为了推动推理能力的极限，我们迎来了DeepSeek-R1系列模型的诞生。这个系列包括了两个重要版本：DeepSeek-R1-Zero和DeepSeek-R1，它们分别在强化学习（RL）和传统的监督微调（SFT）方法中找到了新的平衡，展示了前所未有的推理能力。

DeepSeek-R1-Zero突破了传统的训练方式，直接通过大规模的强化学习进行训练，而没有依赖预先的监督微调。这一创新使得模型在推理任务中表现出色，但同时也暴露了某些挑战，比如语言混合、无休止重复等问题。为了进一步提升性能，DeepSeek-R1加入了冷启动数据的处理，解决了这些问题，达到了与OpenAI-o1在数学、代码和推理任务中的类似表现。

不仅如此，DeepSeek-R1系列模型还开源了大量的训练成果，包括基于Llama和Qwen模型蒸馏而来的六个紧凑型模型，其中DeepSeek-R1-Distill-Qwen-32B在多个基准测试中超越了OpenAI-o1-mini，创造了新的最先进结果。

.02

模型介绍

后训练：通过强化学习优化基础模型

传统的语言模型通常依赖**监督微调（SFT）作为基础训练方法，然后通过后期的微调来增强模型的推理能力。然而，DeepSeek团队采取了一种全新的方式，直接通过大规模的强化学习（RL）**对基础模型进行训练，省略了SFT的初步步骤。这一方式让模型能够通过自主探索复杂问题的推理链条（Chain-of-Thought，CoT），自发地发展出许多强大且有趣的推理行为。

DeepSeek-R1-Zero正是通过这种强化学习方法训练出来的，并且它展示了诸如自我验证、反思、以及生成长推理链条等能力，标志着在推动推理能力方面的一个重要里程碑。更值得注意的是，这也是首个通过纯粹的RL验证大规模语言模型推理能力的研究，无需任何监督微调。这一突破为未来的相关研究奠定了基础。

DeepSeek-R1的创新管线

在DeepSeek-R1的开发过程中，我们采用了一个双阶段强化学习流程，并结合两阶段的监督微调（SFT），旨在发现更加优化的推理模式，并且能够与人类偏好相对齐。这个管线的设计不仅提升了模型的推理能力，还为AI行业提供了一种新的模型开发思路，有助于推动未来更高效的推理模型的出现。

.03

蒸馏：小模型也能表现出色

大模型推理模式的蒸馏

我们还展示了如何将大模型中的推理模式蒸馏到小模型中，取得了比在小模型上直接通过RL训练的推理模式更优秀的表现。通过将DeepSeek-R1生成的推理数据用于对小型模型进行微调，我们显著提升了这些模型在多个基准测试中的表现，证明了即使是参数较少的模型，也能在推理任务中取得不逊色的大模型的成绩。

这一研究的另一个亮点是，DeepSeek团队公开了多款蒸馏模型，包括1.5B、7B、8B、14B、32B以及70B六个版本，这些模型基于Qwen2.5和Llama3系列进行了蒸馏处理。这些小型模型在多个推理任务中表现出色，对于研究人员和开发者来说，将是一个非常有价值的资源。

.04

模型信息

DeepSeek团队提供了详细的模型下载链接，供研究人员和开发者下载使用。以下是DeepSeek-R1系列以及其蒸馏版本的模型参数和下载信息：

DeepSeek-R1系列模型

模型名称	总参数量	激活参数量	上下文长度	下载链接

DeepSeek-R1-Zero

671B

37B

128K

? HuggingFace

DeepSeek-R1

671B

37B

128K

? HuggingFace

DeepSeek-R1蒸馏模型

模型名称	基础模型	下载链接

DeepSeek-R1-Distill-Qwen-1.5B

Qwen2.5-Math-1.5B

? HuggingFace

DeepSeek-R1-Distill-Qwen-7B

Qwen2.5-Math-7B

? HuggingFace

DeepSeek-R1-Distill-Llama-8B

Llama-3.1-8B

? HuggingFace

DeepSeek-R1-Distill-Qwen-14B

Qwen2.5-14B

? HuggingFace

DeepSeek-R1-Distill-Qwen-32B

Qwen2.5-32B

? HuggingFace

DeepSeek-R1-Distill-Llama-70B

Llama-3.3-70B-Instruct

? HuggingFace

.05

模型评估结果

对于所有DeepSeek模型，我们将最大生成长度设置为32,768个tokens，确保能处理更长的输入和生成更复杂的答案。在需要进行采样的基准测试中，我们使用了温度0.6和top-p值0.95，并生成了64个响应以估算pass@1的指标。以下是模型在多个基准测试中的评估结果：

DeepSeek-R1：在数学、代码和推理任务中的表现可与OpenAI-o1相媲美，证明了该模型的强大推理能力。

DeepSeek-R1-Distill：系列小型模型，在多个测试中超过了OpenAI-o1-mini，表现出色。

.06

结语

DeepSeek-R1系列模型的发布，标志着推理能力在大规模语言模型中的新突破。从DeepSeek-R1-Zero到DeepSeek-R1，我们展示了如何通过强化学习（RL）直接驱动推理能力的提升，同时通过蒸馏技术，使得更小的模型同样能够达到高效的推理表现。这不仅是对AI研究的一次重大贡献，也为未来的模型开发提供了新的思路。

随着更多小型化模型的开源，研究人员和开发者能够更好地利用这些技术，打造出适应不同场景的推理系统。未来，随着推理技术的不断进步，DeepSeek-R1系列无疑将在各个领域引领人工智能的创新浪潮。