OrthoEraser:通过耦合神经元正交投影擦除概念
在擦除敏感概念时,显式保护与干预方向耦合的正常特征。
核心内容
OrthoEraser 从特征纠缠的几何关系出发研究概念擦除。方法定位敏感神经元,并识别与目标响应耦合的特征,再利用正交投影约束干预相对于良性耦合子空间的方向,力求抑制目标并减少附带改变。
评估将移除效果、生成保真度与特征层分析放在一起考察,使选择性成为干预的核心目标。干预强度只有与行为效果的针对性结合,才能体现出对合法生成能力的保护价值。
精确移除一个概念,需要先理解它与希望保留的能力共享了什么。
定位敏感层与神经元
层级敏感性与神经元评分共同缩小干预目标范围。
查看论文原图为什么研究这个问题
敏感语义与正常语义并不天然处于正交空间。直接抑制整个神经元,可能在去除目标概念的同时损伤正常属性。
方法如何工作
- 利用 SAE 分解稠密激活,识别与待擦除敏感概念相关的单元。
- 检测可能受到干预影响的耦合正常单元,确定需要保护的子空间。
- 通过解析正交化,将擦除向量投影到耦合单元的零空间,降低对受保护语义的影响。
观察特征纠缠
针对两组概念,比较敏感、耦合及其他神经元的激活变化分布。
查看论文原图实验发现了什么
论文同时评估擦除精度与非敏感生成内容的保留。所报告的对比结果支持了显式保护已识别正常子空间的作用。
联合比较抑制与保留
不同干预策略在目标检测、图文对齐与生成保真度上接受联合比较。
查看论文原图这项研究意味着什么
可控性的关键之一,是干预能够达到多细的分辨率。当有害与良性特征共享方向时,粗粒度抑制可能同时伤及两者;几何约束则提供了一种表达方式,明确哪些成分应被改变、哪些成分需要被保护。
更广泛的启发是,模型编辑应当同时回答目标行为抑制了多少、相关能力保留了多少。论文为更有选择性的干预机制提供了证据;其保护范围仍取决于所建模的子空间与实验设置,需要继续检查残留行为和其他副作用。
论文与相关资源
本文为论文介绍,方法定义、实验设置与完整结果请参见论文原文。
引用这项研究
@misc{orthoeraser,
title = {OrthoEraser: Coupled-Neuron Orthogonal Projection for Concept Erasure},
author = {Shi, Chuancheng and Wu, Wenhua and Shen, Fei and Zhu, Xiaogang and Hu, Kun and Wang, Zhiyong},
year = {2026},
eprint = {2603.11493},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2603.11493}
}