衡宇 发自 凹非寺量子位 | 公众号 QbitAI加拿大pc28在线预测飞飞

本钱不到150元，进修出一个比好意思DeepSeek-R1和OpenAI o1的推理模子？！

这不是洋葱新闻，而是AI教母、斯坦福大学、华盛顿大学、艾伦东说念主工智能践诺室等联袂推出的最新极品：s1。

在数学和编程能力的评测集上，s1的推崇并列DeepSeek-R1和o1。

而训一个这么性能的模子，团队只是用了16个H100，进修耗时26分钟。

据TechCrunch，这个进修经由消耗了不到50好意思元的本钱，约合东说念主民币364.61元；而s1模子作家之一暗示，进修s1所需的推断资源，在当下约花20好意思元（约145.844元）就能租到。

怎么作念到的？？？

s1团队暗示，诀窍唯惟一个：蒸馏。

浅易来说，团队以通义团队的Qwen2.5- 32B-Instruct行动基础模子，通过蒸馏谷歌DeepMind的推理模子Gemini 2.0 Flash Thinking践诺版，最终获取了s1模子。

为了进修s1，征询团队创建了一个包含1000个问题（全心挑选那种）的数据集，且每个问题都附有谜底，以及Gemini 2.0 Flash Thinking践诺版的想考经由。

咫尺，款式论文《s1: Simple test-time scaling》如故挂上arXiv，模子s1也已在GitHub上开源，征询团队提供了进修它的数据和代码。

150元本钱，进修26分钟

s1团队搞这个花活，缘起是OpenAI o1展现了Test-time Scaling的能力。

即「在推理阶段通过增多推断资源或时间，来普及大模子的性能」，这是原来预进修Scaling Law达到瓶颈后的一种新Scaling。

但OpenAI并未公开是如何终了这少量的。

在复现怒潮之下，s1团队的标的是寻找到Test-time Scaling的浅易递次。

经由中，征询东说念主员先构建了一个1000个样本的数据集，名为s1K。

来源，在撤职质料、难度、万般性原则的基础上，这个数据集网罗了来自MATH、AGIEval等诸多来源的59029个问题。

经去重、去噪后，通过质料筛选、基于模子性能和推理萍踪长度的难度筛选，以及基于数学学科分类的万般性筛选，最终留住了一个涵盖1000个全心挑选过的问题的数据集。

且每个问题都附有谜底，以及Gemini 2.0 Flash Thinking践诺版的模子想考经由。

这便是最终的s1K。

尼克斯方面，今年绝对算是豪掷千金了。上赛季打进了半决赛，球队老大布伦森也是表现出色。所以球队抓住了这个夺冠窗口期。首先是交易得到OG阿奴诺比，随后又交易得到布里奇斯，紧接着又交易来了唐斯，组成了非常豪华的阵容。

征询东说念主员暗示，Test-time Scaling有2种。

第1种，法规Scaling，较晚的推断取决于狂躁的推断（如较长的推理轨迹）。

第2种，并行Scaling，be like推断孤苦开动（如浩繁投票任务）。

s1团队专注于法规这部分，原因是团队“从直观上”以为它不错起到更好的Scaling——因为背面的推断不错以中间散伙为基础，从而允许更长远的推理和迭代细化。

基于此，s1团队建议了新的法规Scaling递次，以及对应的Benchmark。

征询经由中，团队建议了一种浅易的解码时间干扰递次budget forcing，在测试时强制设定最大和/或最小的想考token数目。

具体来说，征询者使用了一种很浅易的意见：

径直添加“end-of-thinking token分隔符”和“Final Answer”，来强制设定想考token数目上限，从而让模子提前收尾想考阶段，并促使它提供现时想考经由中的最好谜底。

为了强制设定想考经由的token数目下限，团队又谢却模子生成“end-of-thinking token分隔符”，并不错聘用在模子现时推理轨迹中添加“wait”这个词，饱读吹它多想想，反想反想现时的想考散伙，率领最好谜底。

以下是budget forcing这个意见的一个实操示例：

团队还为budget forcing提供了baseline。

一是条款长度为止递次（Conditional length-control methods），该递次依赖于，在辅导中告诉模子它应该消耗多永劫期来生成输出。

团队按颗粒度将它们分为Token-conditional为止、才智条款为止和类条款为止。

Token-conditional为止：在辅导词中，指定Thinking Tokens的上限；才智条款为止：指定一个想考才智的上限。其中每个才智约100个tokens；类条款为止：编写两个通用辅导，告诉模子想考短时间或永劫期。

二是拒却抽样（rejection sampling）。

即在抽样经由中，若某一世成本体相宜事前设定的推断预算，就罢手推断。

该算法通过其长度来捕捉反应的后验分辨。

而s1模子的悉数进修经由，只用了不到半个小时——

团队在论文中暗示，他们使用Qwen2.532B-Instruct模子在s1K数据集上进行SFT，使用16个英伟达H100，进修耗时26分钟。

s1征询团队的Niklas Muennighoff（斯坦福大学征询员）告诉TechCrunch，进修s1所需的推断资源，在当下约花20好意思元就能租到。

征询新发现：平庸扼制想考会导致死轮回

训出模子后，团队采取3个推理基准测试，把s1-32B和OpenAI o1系列、DeepSeek-R1系列、阿里通义Qwen2.5系列/QWQ、昆仑万维Sky系列、Gemini 2.0 Flash Thinking践诺版等多个模子进行对比。

3个推理基准测试如下：

AIME24：2024年好意思国数学邀请窥探中使用的30个问题MATH500：不同难度的竞赛数知识题的基准GPQA Diamond：生物、化学和物理界限的198个博士级问题

举座来说，汲取了budget forcing的s1-32B扩张了更多的test-time compute。

评测数据露出，s1-32B在MATH500上拿到了93.0的收货，跳跃o1-mini，比好意思o1和DeepSeek-R1。

不外，如下图所示，团队发现，天然不错用budget forcing和更多的test-time compute来提高s1在AIME24上的性能，在AIME24上比 o1-preview最高普及27%。

但弧线最终在性能普及6倍后趋于邋遢。

由此，团队在论文中写说念：

过于平庸地扼制想考收尾象征分隔符，会导致模子参加类似轮回，而不是持续推理。

而如下图所示，在s1K上进修Qwen2.5-32B-Instruct来获取s1-32B，并为它配备了浅易的budget forcing后，它汲取了不同的scaling范式。

具体来说，通过浩繁投票在基础模子上对test-time compute进行Scale的递次，训出的模子无法赶上s1-32B的性能。

这就考证了团队之前的“直观”，即法规Scaling比并行Scaling更有用。

此外，团队提到，s1-32B只是使用了1000个样本进修，在AIME24上的收货就能接近Gemini 2.0 Thinking，是“样本成果最高的开源数据推理模子”。

征询东说念主员还暗示，Budget forcing在为止、缩放和性能方针上推崇最好。

而其它递次，如Token-conditional为止、才智条款为止、类条款为止等，均存在各式问题。

One More Thing

s1模子，是在一个1000个精挑细选的小样本数据集上，通过SFT，让小模子能力在数学等评测集上性能飙升的征询。

但荟萃近期刷爆全网的DeepSeek-R1——以1/50本钱并列o1性能——背后的故事，不错窥见模子推理本领的更多值得挖掘之处。

模子蒸馏本领加握下，DeepSeek-R1的进修本钱震憾硅谷。

当今，AI教母李飞飞等，又一次欺骗「蒸馏」，消耗低到令东说念主推奖的进修本钱，作念出了一个能比好意思顶尖推理模子的32B推理模子。

一王人期待大模子本领更精彩的2025年吧～

arXiv：

https://arxiv.org/pdf/2501.19393

GitHub：

https://github.com/simplescaling/s1

https://techcrunch.com/2025/02/05/researchers-created-an-open-rival-to-openais-o1-reasoning-model-for-under-50/

• 加拿大pc28在线预测飞飞
• 不到
• 本钱
• 李飞飞
• 150元