NExT-LFM · 研究解读
更多研究
基础研究 / 可靠评估与安全 / 研究解读

OrthoEraser:通过耦合神经元正交投影擦除概念

在擦除敏感概念时,显式保护与干预方向耦合的正常特征。

Shi Chuancheng Wu Wenhua Shen Fei Zhu Xiaogang Hu Kun Wang Zhiyong

ECCV 2026 阅读原文 PDF
概念视觉: OrthoEraser:通过耦合神经元正交投影擦除概念
根据研究主题创作的概念视觉。

核心内容

OrthoEraser 从特征纠缠的几何关系出发研究概念擦除。方法定位敏感神经元,并识别与目标响应耦合的特征,再利用正交投影约束干预相对于良性耦合子空间的方向,力求抑制目标并减少附带改变。

评估将移除效果、生成保真度与特征层分析放在一起考察,使选择性成为干预的核心目标。干预强度只有与行为效果的针对性结合,才能体现出对合法生成能力的保护价值。

SAE稀疏特征分解
零空间受约束的擦除投影
耦合单元需要保护的正常特征

精确移除一个概念,需要先理解它与希望保留的能力共享了什么。

图3 · 定位敏感层与神经元. 层级敏感性与神经元评分共同缩小干预目标范围。
图3 / 第3页

定位敏感层与神经元

层级敏感性与神经元评分共同缩小干预目标范围。

查看论文原图

为什么研究这个问题

敏感语义与正常语义并不天然处于正交空间。直接抑制整个神经元,可能在去除目标概念的同时损伤正常属性。

方法如何工作

  1. 利用 SAE 分解稠密激活,识别与待擦除敏感概念相关的单元。
  2. 检测可能受到干预影响的耦合正常单元,确定需要保护的子空间。
  3. 通过解析正交化,将擦除向量投影到耦合单元的零空间,降低对受保护语义的影响。
图7 · 观察特征纠缠. 针对两组概念,比较敏感、耦合及其他神经元的激活变化分布。
图7 / 第8页

观察特征纠缠

针对两组概念,比较敏感、耦合及其他神经元的激活变化分布。

查看论文原图

实验发现了什么

论文同时评估擦除精度与非敏感生成内容的保留。所报告的对比结果支持了显式保护已识别正常子空间的作用。

表3 · 联合比较抑制与保留. 不同干预策略在目标检测、图文对齐与生成保真度上接受联合比较。
表3 / 第8页

联合比较抑制与保留

不同干预策略在目标检测、图文对齐与生成保真度上接受联合比较。

查看论文原图

这项研究意味着什么

可控性的关键之一,是干预能够达到多细的分辨率。当有害与良性特征共享方向时,粗粒度抑制可能同时伤及两者;几何约束则提供了一种表达方式,明确哪些成分应被改变、哪些成分需要被保护。

更广泛的启发是,模型编辑应当同时回答目标行为抑制了多少、相关能力保留了多少。论文为更有选择性的干预机制提供了证据;其保护范围仍取决于所建模的子空间与实验设置,需要继续检查残留行为和其他副作用。

论文与相关资源

本文为论文介绍,方法定义、实验设置与完整结果请参见论文原文。

引用这项研究
@misc{orthoeraser,
  title = {OrthoEraser: Coupled-Neuron Orthogonal Projection for Concept Erasure},
  author = {Shi, Chuancheng and Wu, Wenhua and Shen, Fei and Zhu, Xiaogang and Hu, Kun and Wang, Zhiyong},
  year = {2026},
  eprint = {2603.11493},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2603.11493}
}