基础研究 / 可靠评估与安全 / 研究解读
一个锚点,贯通语言与模态:LVLM 统一安全对齐
在 MLP 中探测跨语言、跨模态共享安全神经元,以英语监督实现统一安全对齐。
核心内容
One Anchor for All 面向视觉信息与多语言指令共同作用时的安全问题。方法先识别各语言、各模态中的安全相关神经元,再提取模态共享单元及其跨语言交集,并以英语为锚点定位紧凑的共享子集。
对齐仅更新选定子集,论文报告的参数规模约为 0.03%。研究进一步检验,仅使用英语安全监督,能否改善不同语言与模态组合中的防护,从而提高有限监督的复用效率。
约 0.03%论文报告的选定参数规模
3评估覆盖的 LVLM
单一锚点英语安全监督
跨语言与跨模态安全,可以从两个维度共同使用的内部机制出发研究。
两个维度上的共享目标
神经元探测后进行跨模态与跨语言交集提取,再实施选择性微调。
查看论文原图为什么研究这个问题
分别研究语言和模态,可能遗漏两者交互形成的失效。逐一覆盖所有组合又成本较高,因此需要寻找能够连接两个维度、同时保留一般多模态能力的内部对齐目标。
方法如何工作
- 通过良性与有害样本的响应,对各语言、各模态的神经元功能显著性进行测量。
- 先在语言内部提取模态共享集合,再以英语为锚点识别跨语言共享坐标。
- 选择性更新共享子集,联合评估已见与未见的语言—模态组合。
干预共享交集
不同屏蔽策略对图像主导与文本主导风险产生不同的安全影响。
查看论文原图实验发现了什么
屏蔽实验将共享坐标与随机、语言特有成分进行对照。评估覆盖三个 LVLM、分布内及未见语言、一般能力与过度拒答,展示屏蔽或训练不同内部子集时的行为变化。
语言—模态组合中的安全表现
原表比较三种 LVLM 在两类风险模态下的攻击成功率。
查看论文原图这项研究意味着什么
这项工作将监督复用具体化为机制问题:一种设置中的证据,能够通过哪些内部位置影响另一种设置的行为?共享目标使这一问题能够在大规模分配对齐成本之前接受检验。
共享交集的作用,取决于模型、探测数据与锚点语言。刻画这些条件与测量集合大小同样重要;小规模更新的真正价值,在于它能够迁移预期行为,并保留模型原有的有效能力。
论文与相关资源
本文为论文介绍,方法定义、实验设置与完整结果请参见论文原文。
引用这项研究
@misc{one_anchor,
title = {One Anchor for All: Unified Multilingual and Multimodal Safety Alignment for LVLMs},
author = {Shi, Enyi and Shen, Fei and Shi, Chuancheng and Zhu, Linxia and Miao, Shuyi and Tang, Jinhui and Chua, Tat-Seng},
year = {2026},
eprint = {2607.27917},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2607.27917}
}