基础研究 / 能力激发与迁移 / 研究解读
Transport and Merge：跨架构大语言模型合并
利用激活对应关系，在架构不兼容的语言模型之间迁移知识。
核心内容
Transport and Merge 根据激活关系构造最优传输，在异构语言模型之间建立对应，再据此进行层与特征对齐，支持跨架构权重融合。少量共享输入提供连接两个模型所需的经验依据。
工作在低资源语言和领域任务中评估知识迁移，并探索融合后的残差冻结适配，将寻找功能对应与整合迁移表征这两个问题分别处理。
OT跨神经元对应关系
跨架构异构模型融合
少量输入共享输入对齐集
跨架构迁移知识，首先需要找到内部计算之间的对应关系。
架构之间的传输映射
激活对应关系引导层传输、特征传输与权重融合。
查看论文原图为什么研究这个问题
常规模型合并通常假设架构兼容。这限制了高资源来源模型向异构目标模型的知识迁移，尤其是在目标语言或任务数据有限时。
方法如何工作
- 在少量共享输入上提取来源模型与目标模型的激活。
- 利用最优传输建立异构神经表示之间的对应关系。
- 利用得到的传输计划引导权重空间融合，将来源模型的知识引入目标模型。
对应关系有多集中？
图中测量排名靠前的神经元对应关系能够解释多少传输质量。
查看论文原图实验发现了什么
低资源语言和专业领域上的实验报告了相对对应目标模型的持续改进。跨模型对应关系由少量输入推断得到。
低资源语言中的迁移效果
原始 MalayMMLU 表格比较基础模型、融合模型与后续适配的表现。
查看论文原图这项研究意味着什么
这一视角把模型融合理解为内部坐标系之间的翻译。架构差异可能遮蔽实际存在的功能联系，而激活关系为跨越这种边界提供了可测量的桥梁。
实际价值在于，在适配数据有限时复用已训练模型中的知识。后续关键问题包括：传输计划在什么条件下能够保留功能，共享输入覆盖范围如何影响映射，以及迁移收益能否延伸到建立对应关系之外的任务。
论文与相关资源
本文为论文介绍，方法定义、实验设置与完整结果请参见论文原文。
引用这项研究
@misc{transport_and_merge,
title = {Transport and Merge: Cross-Architecture Merging for Large Language Models},
author = {Cui, Chenhang and Yang, Binyun and Shen, Fei and Chen, Yuxin and Zheng, Jingnan and Wang, Xiang and Zhang, An and Chua, Tat-Seng},
year = {2026},
eprint = {2602.05495},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2602.05495}
}