基础概念更新于 2026-10-24
基准测试
用统一数据集和指标比较模型能力的测试。
#评测#模型#数据
通俗解释
常见基准包括 MMLU、GSM8K、SWE-bench、LMArena 等。基准分数受提示词、评测脚本和数据污染影响,不能直接等同于真实业务表现。选模型时应用自己的任务集做小规模评测。
例子
某模型在 SWE-bench 上分数很高,但在你的私有代码库上仍可能不如另一个模型。
用统一数据集和指标比较模型能力的测试。
常见基准包括 MMLU、GSM8K、SWE-bench、LMArena 等。基准分数受提示词、评测脚本和数据污染影响,不能直接等同于真实业务表现。选模型时应用自己的任务集做小规模评测。
某模型在 SWE-bench 上分数很高,但在你的私有代码库上仍可能不如另一个模型。