红队测试

通俗解释

AI 红队不只测“会不会说坏话”,还要测提示词注入、工具越权、数据泄露、偏见、幻觉和滥用。有效做法是建立攻击库、按风险分级、记录可复现的输入和系统版本,并区分模型问题与应用问题。红队结果要进入发布门禁和监控规则,而不是写一份报告就结束。高风险场景应引入外部红队和真实滥用演练。