NExT-LFM · 研究解读
更多研究
基础研究 / 可靠评估与安全 / 研究解读

一个锚点,贯通语言与模态:LVLM 统一安全对齐

在 MLP 中探测跨语言、跨模态共享安全神经元,以英语监督实现统一安全对齐。

Shi Enyi

预印本 约 4 分钟阅读 阅读原文 PDF
概念视觉: 一个锚点,贯通语言与模态:LVLM 统一安全对齐
根据研究主题创作的概念视觉。

核心内容

One Anchor for All 面向视觉信息与多语言指令共同作用时的安全问题。方法先识别各语言、各模态中的安全相关神经元,再提取模态共享单元及其跨语言交集,并以英语为锚点定位紧凑的共享子集。

对齐仅更新选定子集,论文报告的参数规模约为 0.03%。研究进一步检验,仅使用英语安全监督,能否改善不同语言与模态组合中的防护,从而提高有限监督的复用效率。

约 0.03%论文报告的选定参数规模
3评估覆盖的 LVLM
单一锚点英语安全监督

跨语言与跨模态安全,可以从两个维度共同使用的内部机制出发研究。

图2 · 两个维度上的共享目标. 神经元探测后进行跨模态与跨语言交集提取,再实施选择性微调。
图2 / 第3页

两个维度上的共享目标

神经元探测后进行跨模态与跨语言交集提取,再实施选择性微调。

查看论文原图

为什么研究这个问题

分别研究语言和模态,可能遗漏两者交互形成的失效。逐一覆盖所有组合又成本较高,因此需要寻找能够连接两个维度、同时保留一般多模态能力的内部对齐目标。

方法如何工作

  1. 通过良性与有害样本的响应,对各语言、各模态的神经元功能显著性进行测量。
  2. 先在语言内部提取模态共享集合,再以英语为锚点识别跨语言共享坐标。
  3. 选择性更新共享子集,联合评估已见与未见的语言—模态组合。
图4 · 干预共享交集. 不同屏蔽策略对图像主导与文本主导风险产生不同的安全影响。
图4 / 第4页

干预共享交集

不同屏蔽策略对图像主导与文本主导风险产生不同的安全影响。

查看论文原图

实验发现了什么

屏蔽实验将共享坐标与随机、语言特有成分进行对照。评估覆盖三个 LVLM、分布内及未见语言、一般能力与过度拒答,展示屏蔽或训练不同内部子集时的行为变化。

表2 · 语言—模态组合中的安全表现. 原表比较三种 LVLM 在两类风险模态下的攻击成功率。
表2 / 第5页

语言—模态组合中的安全表现

原表比较三种 LVLM 在两类风险模态下的攻击成功率。

查看论文原图

这项研究意味着什么

这项工作将监督复用具体化为机制问题:一种设置中的证据,能够通过哪些内部位置影响另一种设置的行为?共享目标使这一问题能够在大规模分配对齐成本之前接受检验。

共享交集的作用,取决于模型、探测数据与锚点语言。刻画这些条件与测量集合大小同样重要;小规模更新的真正价值,在于它能够迁移预期行为,并保留模型原有的有效能力。

论文与相关资源

联系作者Shi Enyi
lencit817@gmail.com

本文为论文介绍,方法定义、实验设置与完整结果请参见论文原文。

引用这项研究
@misc{one_anchor,
  title = {One Anchor for All: Unified Multilingual and Multimodal Safety Alignment for LVLMs},
  author = {Shi, Enyi and Shen, Fei and Shi, Chuancheng and Zhu, Linxia and Miao, Shuyi and Tang, Jinhui and Chua, Tat-Seng},
  year = {2026},
  eprint = {2607.27917},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2607.27917}
}