跳到正文
Qoder· Qoder·· 2 天前AI 评分64

模型思考强度是什么?选低,高还是最大?

AI 导读

Qoder 发布模型思考强度选择指南,并将 GLM-5.3、Kimi-K3.1-Pro、Kimi-K2.8-Preview、DeepSeek-Flash 的默认思考强度从「最大」调整为「高」,GLM-5.3-Flash 与 DeepSeek-V4-Pro 仍保持「最大」。

正文

改一处按钮文案,你希望 Agent 马上改完,自己扫一眼就行。排查一个偶发的并发问题,你就愿意多等一会儿,让它把原因想透,再把修复验证一遍。

这两项任务,需要的模型思考强度(Thinking effort)不一样。思考强度决定了 Agent 在动手之前,要先想多久,检查几遍。

前段时间我们集中评测了 Qoder 上不同模型的不同思考强度在真实任务上的表现,评测完后,调整了几个模型的默认思考强度:GLM-5.3、Kimi-K3、Kimi-K2.8-Preview、DeepSeek-Flash。原来默认是「最大」,现在默认是「高」。GLM-5.3-Flash 和 DeepSeek-V4-Pro 没有变化,还是「最大」。

需要说明的是,模型列表里的 Kimi-K3,已经替换为刚上线的 Kimi-K3.1-Pro。它的默认思考强度先沿用 Kimi-K3,同样是「高」。

调整已经生效,如果你想调整这 4 个模型的思考强度为「最大」,到模型选择器的「模型管理」里修改即可。

哪些模型的默认思考强度做了调整

调整前,这 6 个模型的默认思考强度都是「最大」。现在默认值做出了调整:

  • 默认「高」:GLM-5.3、Kimi-K3.1-Pro(替换了 Kimi-K3)、Kimi-K2.8-Preview、DeepSeek-Flash。

  • 默认「最大」:GLM-5.3-Flash、DeepSeek-V4-Pro。

这些模型都能在「低」「高」「最大」之间按需选择。这三个选项分别是什么意思,下一节讲。

先说清楚:模型的思考强度是什么

如果你对思考强度还没有概念,读完你会明白它调的是什么,也会明白它为什么会影响等待时间和消耗的 Credits。

Agent 动手之前,会先在“草稿纸”上想

现在的推理模型遇到复杂问题,不会读完就直接回答。它会先在内部写一份草稿:拆解问题,比较几种做法,检查中间结果。确认没问题,再给出最终答案。这份草稿,就是模型的“思考”。

做一道难的数学题,直接报答案,不如先在草稿纸上一步步演算。后者更容易算对,也更花时间。模型也是这样。

这份草稿是模型一个字一个字写出来的,和最终回答一样,要消耗 token。token 是模型计算文字用量的单位,你可以粗略地把它当“字数”。草稿写得越长,token 用得越多,你要等的时间越长,Credits 用得也越多。

思考强度,决定草稿写多细

假设你给同事指派任务。你说“今晚之前给我”,他会把各种边角情况都验一遍。你说“十分钟内给我”,他会先交一版能用的,剩下的边做边改。同一个人,做事的方式不一样。

思考强度也是这样。Qoder 里大部分模型的思考强度都有三个选项:

  • 低:想得少,快速给结果。

  • 高:多推导,多验证。

  • 最大:推理和检查都做到最充分。

选哪一个思考强度,改变的是模型做事的细致程度。它知道什么、会什么,一点都没变,所以把思考强度调高,并不会让它变聪明。

在 Coding Agent 里,影响会扩大到整个任务

Agent 干活,不是问一句答一句。拿修一个 bug 来说:它先读相关的文件,改一处代码,再跑测试。测试没通过,它就去看报错,再改,再跑。这样一轮一轮往下做,直到测试通过。

每做一步,都要向模型发一次请求。这个次数,就是后面评测里说的「模型调用次数」。

思考强度调高以后,模型每一步都会想得更久,整个任务也会多做几步。比如多读几个文件,多跑几轮测试,多检查几种边界情况。

所以多花的钱,有两处来源。一处是更长的草稿,另一处是多出来的几轮请求。

而且每一轮请求,都要把模型当前能看到的全部内容带上,包括你的需求、读过的文件、之前的对话。这些统称为上下文。上下文越积越长,每一轮也就越贵。

为什么不是越高越好

难的任务,值得多想。边界条件多、出错代价大的时候,多验证几遍,就能多抓住几处遗漏。

简单的任务就不一样了。多出来的推理大多派不上用场,你多等的时间、多花的 token,很难换来更好的结果。

多家模型厂商的官方文档也提醒过,思考强度调到最高以后,可能出现收益递减。收益递减,就是多花一点,换来的提升越来越小。所以建议先测试,再决定要不要常开到「最大」。

为什么把一些模型的默认思考强度调成「高」

我们用 Qoder CLI 做了一次对比。测试用的是 QoderBench,Qoder 自己的评测集,里面有近 200 个 case。这 6 个模型,每个都在「最大」和「高」下各跑了一遍。

评测使用的是 Kimi-K3,当时 Kimi-K3.1-Pro 还没有上线,所以下面的数据不包含。Kimi-K3.1-Pro 的评测还没有完成,默认思考强度先沿用 Kimi-K3 的「高」。

先说两个指标。输出 token,是模型生成的全部内容,思考草稿也算在里面。模型调用次数,是完成一个任务向模型发的请求数。

只把思考强度从「最大」调低一级,6 个模型的变化是这样:

  • 输出 token 少了 19% 到 48%,模型调用次数少了 6.5% 到 31.5%。

  • 评测里的单次成本降了 6.9% 到 40.5%,得分相对下降 5.7% 到 16.1%。

具体到模型:

  • 单次成本降幅最大的是 GLM-5.3,降了 40.5%,得分相对下降 6.3%。

  • 评测里调到「高」的 4 个模型,单次成本都降了两成以上,得分都只掉不到一成。

  • 保持「最大」的 2 个模型:DeepSeek-V4-Pro 调低一级,单次成本只降 6.9%。GLM-5.3-Flash 调低一级,得分下降了 16.1%。

得分变化按相对百分比算:原来 80 分,相对下降 10%,现在是 72 分。数据来自 QoderBench 近 200 个 case,其中 Kimi 测的是 Kimi-K3。

Qoder 的 Credits 用量跟 token 挂钩。输出 token 少了,Credits 用量也会跟着下降,具体降多少,要看具体的任务和模型。

调低思考强度是有真实代价的:6 个模型的得分都在下降。这份评测没有测端到端耗时。调用次数和 token 都少了,等待有机会缩短,但仍然在不同任务上有差异。省下来的思考,也不全是多余的。

什么时候该手动调

默认值只是 Qoder 真实评测后做出的推荐值。同一个模型,你可以根据这次任务的难度,自己选思考强度。

低:适合头脑风暴,或者需求很明确的小改动。比如改一句按钮文案,给函数补注释,把接口里的字段名统一。先快速拿到结果,再由你检查和调整。

高:适合日常开发和修 bug。比如给订单列表加分页,同时处理没有数据、页码超出范围这两种情况。选「高」会多做几步验证。

最大:适合难排查的问题,或者出错代价大的改动。比如排查偶发的并发问题,审查支付回调的签名校验。任务很长、你又不想中途盯着的时候,也可以选「最大」。

以 Qoder 为例。点输入框底部的模型选择器,再点底部的「模型管理」,就能给每个模型单独思考强度。

三个小贴士

帖士一:

同一个任务里,尽量别中途改思考强度。模型会把前面读过的内容暂存起来,下一轮接着用,这叫缓存,能省时间,也能大大节省成本。中途改强度,这份缓存有可能用不上,token 得重新计算一遍。

帖士二:

结果不对的时候,先分清是哪种情况。如果它漏了边界条件,或者没做验证,说明模型没想够,可以调高思考强度。

如果模型的思路一开始就错了,调高强度并没有用。这时可以换一个模型,或者把需求、限制条件和验收标准写得更清楚。

帖士三:

在「模型管理」里改完思考强度,对后续的所有任务生效。正在生成的回复不受影响,下一轮任务才按照新设置来。

打开「模型管理」,看一眼各个模型现在的默认值。遇到复杂任务,再把思考强度选到「最大」。

来源:Qoder · mp.weixin.qq.com