安全与对齐更新于 2026-10-24
AI 护栏
限制模型输入、输出和行动范围的规则与系统。
#安全#合规#护栏
通俗解释
护栏包括内容过滤、敏感信息检测、权限控制、工具白名单、输出格式校验和人工审核。护栏不是百分百安全,但能降低明显风险。高风险场景要默认拒绝,而不是依赖模型自觉。
例子
客服 Agent 在退款金额超过 500 元时必须转人工。
限制模型输入、输出和行动范围的规则与系统。
护栏包括内容过滤、敏感信息检测、权限控制、工具白名单、输出格式校验和人工审核。护栏不是百分百安全,但能降低明显风险。高风险场景要默认拒绝,而不是依赖模型自觉。
客服 Agent 在退款金额超过 500 元时必须转人工。