#模型时代# DeepSeek的R1模型为什么会奏效
- 高飞
- 2025-02-03 03:30:21
模型时代 DeepSeek的R1模型为什么会奏效？
前几天在X上看到了一段非常有意思的讨论。一个DeepMind的研究员说，他在DeepSeek-R1和K1.5技术报告中看到，使用字符串匹配（直接比较答案）作为二元奖励信号来训练模型，效果就很好。
但他疑惑的地方在于，包括他自己在内的多个研究团队分别使用了FlanT5、Llama1和Llama2等模型尝试过此种方法，但都不奏效，为啥2024年末DeepSeek R1发布的时候，就行了。
一种方法，两个结果，为啥呢？
通过讨论，他们最后达成共识的猜想是：
基础模型需要达到一定的基础能力水平——比如在MATH数据集上至少要有40%的准确率，才能产生有意义的思维链，从而让强化学习真正发挥作用。
举个例子。
想象一下教一个孩子解决数学题的过程。如果这个孩子完全不懂基础数学知识，即使你给他再多的练习题和反馈（这就像强化学习），他也无法真正进步。但是如果这个孩子已经掌握了基本的数学概念和运算规则（这就像预训练和监督微调的数据），那么通过练习和反馈，他就能逐渐掌握更复杂的解题技巧。
新的基础模型（DeepSeek V3，R1的前一代基础模型）就像是已经接受过良好基础教育的学生，他们在"数学考试"（MATH数据集）中至少能答对40%的题目。这说明他们已经具备了基本的推理能力，能够产生合理的解题思路。反之，如果是较差的模型，可能他输出的答案都是错的，那就无法激励强化。
我们可以用补习班来进一步举例。假设你是一个教育机构的负责人，来教孩子，你面临两个选择：
1、投入大量资源培养一个优秀的老师（如DeepSeek V3），他可以高效地指导学生；
2、雇用一个普通老师，但是大幅增加课时和练习量（这相当于用较弱的基础模型但增加采样量）。
第二种方案看似可行，但问题在于：
1、需要更多的时间和精力（就像增加100到1000倍的计算资源）
2、效果可能不如第一种方案好（因为基础模型能力不足）
3、整体成本可能更高（大量的计算资源消耗）
就就有点像教育中我们常说的"基础决定高度"。想来，在AI训练中也是如此。一个具备良好基础能力的模型，才能更有效地从强化学习中获益。
这场讨论的最后启发是：
1、有时候，一个简单的方法能否成功，完全取决于基础模型的能力是否达到了特定的门槛，而不是方法本身。
2、所以，原来不行的方法，之后不一定不行。不能一杆子拍死。
其实想想也没错啊，辛顿的深度学习方法原来也是不奏效的，但是有了GPU协助加速计算，不就奏效了。
前几天在X上看到了一段非常有意思的讨论。一个DeepMind的研究员说，他在DeepSeek-R1和K1.5技术报告中看到，使用字符串匹配（直接比较答案）作为二元奖励信号来训练模型，效果就很好。
但他疑惑的地方在于，包括他自己在内的多个研究团队分别使用了FlanT5、Llama1和Llama2等模型尝试过此种方法，但都不奏效，为啥2024年末DeepSeek R1发布的时候，就行了。
一种方法，两个结果，为啥呢？
通过讨论，他们最后达成共识的猜想是：
基础模型需要达到一定的基础能力水平——比如在MATH数据集上至少要有40%的准确率，才能产生有意义的思维链，从而让强化学习真正发挥作用。
举个例子。
想象一下教一个孩子解决数学题的过程。如果这个孩子完全不懂基础数学知识，即使你给他再多的练习题和反馈（这就像强化学习），他也无法真正进步。但是如果这个孩子已经掌握了基本的数学概念和运算规则（这就像预训练和监督微调的数据），那么通过练习和反馈，他就能逐渐掌握更复杂的解题技巧。
新的基础模型（DeepSeek V3，R1的前一代基础模型）就像是已经接受过良好基础教育的学生，他们在"数学考试"（MATH数据集）中至少能答对40%的题目。这说明他们已经具备了基本的推理能力，能够产生合理的解题思路。反之，如果是较差的模型，可能他输出的答案都是错的，那就无法激励强化。
我们可以用补习班来进一步举例。假设你是一个教育机构的负责人，来教孩子，你面临两个选择：
1、投入大量资源培养一个优秀的老师（如DeepSeek V3），他可以高效地指导学生；
2、雇用一个普通老师，但是大幅增加课时和练习量（这相当于用较弱的基础模型但增加采样量）。
第二种方案看似可行，但问题在于：
1、需要更多的时间和精力（就像增加100到1000倍的计算资源）
2、效果可能不如第一种方案好（因为基础模型能力不足）
3、整体成本可能更高（大量的计算资源消耗）
就就有点像教育中我们常说的"基础决定高度"。想来，在AI训练中也是如此。一个具备良好基础能力的模型，才能更有效地从强化学习中获益。
这场讨论的最后启发是：
1、有时候，一个简单的方法能否成功，完全取决于基础模型的能力是否达到了特定的门槛，而不是方法本身。
2、所以，原来不行的方法，之后不一定不行。不能一杆子拍死。
其实想想也没错啊，辛顿的深度学习方法原来也是不奏效的，但是有了GPU协助加速计算，不就奏效了。
