基础概念更新于 2026-10-24
模型评测
针对具体任务设计测试集和评分标准,判断模型是否可用。
#评测#质量#上线
通俗解释
评测要覆盖正常、边界和对抗样本,并区分事实性、完整性、格式和安全性。人工评测需要明确评分标准,自动评测可以用规则、模型裁判或人工抽检组合。上线后还要持续监控。
例子
为客服机器人的 200 条真实问题建立评分表,每周抽检 50 条。
针对具体任务设计测试集和评分标准,判断模型是否可用。
评测要覆盖正常、边界和对抗样本,并区分事实性、完整性、格式和安全性。人工评测需要明确评分标准,自动评测可以用规则、模型裁判或人工抽检组合。上线后还要持续监控。
为客服机器人的 200 条真实问题建立评分表,每周抽检 50 条。