安全与对齐更新于 2026-10-24
可解释性
理解模型内部如何表示特征、做出决策的研究。
#安全#研究#模型
通俗解释
可解释性分两层:行为层解释(输入改动如何影响输出)和机制层解释(神经元、电路和特征如何组合)。常用方法包括注意力可视化、探针、因果干预、稀疏自编码器和电路分析。它对安全审计、调试和合规很重要,但目前仍不完整:注意力权重不等于因果重要性,模型生成的解释也可能是事后合理化。可解释性应作为证据之一,不能替代外部评测。
例子
发现某个特征对应“法律免责声明”,可以通过干预该特征观察模型输出是否改变,而不是只看注意力热力图。