NExT-LFM · 研究解读
更多研究
基础研究 / 安全路径 / 研究解读

TraceRouter++:通过最优传输重对齐因果语义路由

追踪安全相关的因果传播路径,并通过逐坐标最优传输近似,将选中路由的激活分布柔性重对齐至安全参考分布。

Shi Chuancheng

TPAMI 2026CCF-A 约 4 分钟阅读 阅读原文 PDF
概念视觉: TraceRouter++:通过最优传输重对齐因果语义路由
根据研究主题创作的概念视觉。

核心内容

不安全行为可能依赖跨层传播的计算路径,而非某一个孤立神经元。TraceRouter++ 在识别安全相关路径后,进一步调整这些路径上的激活分布,使其接近安全参考状态,并限制干预点上的扰动范围。

这一期刊扩展在“发现—追踪—重对齐”的框架中加入最优传输驱动的柔性干预。具体实现采用可计算的逐坐标分位数映射,对齐的是选中坐标的边缘分布,并非直接求解一般的联合最优传输问题。

99.5%LLaMA3 平均防御成功率
三类模型语言、多模态与扩散模型
最优传输激活分布的柔性重对齐

定位安全相关路径与设计激活修改方式,是安全干预中相互补充的两个问题。

图2 · 发现、追踪与重对齐. 原始方法图连接敏感层定位、稀疏路由特征、因果影响追踪与最优传输重对齐。
图2 / 第3页

发现、追踪与重对齐

原始方法图连接敏感层定位、稀疏路由特征、因果影响追踪与最优传输重对齐。

查看论文原图

为什么研究这个问题

局部特征抑制可能留下替代传播路径,也可能扰动正常能力。路径级干预需要同时回答两个问题:安全相关信息沿哪里传播,以及这些路径上的计算应如何改变。将路径定位与分布重对齐结合,使干预目标更加具体。

方法如何工作

  1. 发现敏感起始层:利用注意力差异定位干预起点,再用稀疏自编码器解析可解释的路由特征。
  2. 追踪下游因果影响:通过特征影响评分与干预证据,筛选参与安全相关计算的跨层传播路径。
  3. 执行柔性重对齐:以最优传输近似将选中激活的边缘分布映射至安全参考分布,并保持干预点未选中的坐标不变。
表2 · 多类语言模型越狱攻击下的防御结果. 原表报告防御成功率,两个被评估语言模型上的平均值分别为 99.5 ± 0.3% 和 98.8 ± 0.3%。
表2 / 第8页

多类语言模型越狱攻击下的防御结果

原表报告防御成功率,两个被评估语言模型上的平均值分别为 99.5 ± 0.3% 和 98.8 ± 0.3%。

查看论文原图

实验发现了什么

在论文报告的 LLM 攻击组合上,LLaMA3-8B-Instruct 与 Mistral-7B-Instruct 的平均防御成功率分别达到 99.5 ± 0.3% 和 98.8 ± 0.3%。评估还覆盖多模态大语言模型与扩散模型。

安全结果同时配有通用能力测量:上述两个语言模型在 Global-MMLU-Lite 上分别下降 0.4 和 0.6 个百分点。这些是实验中的能力代价,不能由“未选中坐标保持不变”这一局部性质直接推导。

图8 · 路径级与神经元级干预的比较. 消融图在语言、多模态与扩散模型设置中,对比路由重对齐与孤立神经元抑制。
图8 / 第12页

路径级与神经元级干预的比较

消融图在语言、多模态与扩散模型设置中,对比路由重对齐与孤立神经元抑制。

查看论文原图

这项研究意味着什么

这项研究将安全控制表述为对信息流的塑形:因果追踪回答“干预哪里”,分布重对齐回答“如何改变”。二者的结合,使机制分析能够进一步转化为具有明确目标的模型控制。

方法的边界同样具有启发性:逐坐标传输通常不能保证联合依赖关系被完整保留,后续层也可能再次混合不同坐标。因此,局部干预的选择性需要与端到端的安全性、通用能力和过度拒答评估共同检验。

论文与相关资源

联系作者Shi Chuancheng
cshi0459@uni.sydney.edu.au

本文为论文介绍,方法定义、实验设置与完整结果请参见论文原文。

引用这项研究
@article{tracerouter_plus_plus,
  title = {TraceRouter++: Causal Semantic Routing Realignment via Optimal Transport},
  author = {Shi, Chuancheng and Li, Shangze and Wu, Wenhua and Chen, Hengzhi and Shen, Fei and Zhuo, Li and Wang, Zhiyong and Chua, Tat-Seng},
  journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence},
  year = {2026},
  doi = {10.1109/TPAMI.2026.3747849},
  url = {https://doi.org/10.1109/TPAMI.2026.3747849}
}