安全与对齐更新于 2026-10-24

AI 护栏

限制模型输入、输出和行动范围的规则与系统。

#安全#合规#护栏

通俗解释

护栏包括内容过滤、敏感信息检测、权限控制、工具白名单、输出格式校验和人工审核。护栏不是百分百安全,但能降低明显风险。高风险场景要默认拒绝,而不是依赖模型自觉。

例子

客服 Agent 在退款金额超过 500 元时必须转人工。

推荐工具

相关术语