测试时计算

通俗解释

传统 scaling law 关注训练算力;测试时计算则问:如果给模型更多时间思考,能否用更小模型达到更好效果?常见方法包括延长思维链、并行采样后投票、树搜索和验证器打分。它对数学、代码和规划有效,但收益随任务难度递减,且会显著增加延迟和成本。产品设计要明确:哪些请求值得多花算力,哪些必须快速返回。