基础研究 / 能力激发与迁移 / 研究解读
SuperAI：跨异构基础模型的能力合并
通过对齐异构基础模型的功能子空间，把多个来源的互补能力引入同一个宿主模型。
核心内容
SuperAI 研究宿主模型如何吸收异构来源模型的能力。它寻找具有对应功能的子空间，对齐其中的坐标，再学习映射到宿主内部的残差增量。迁移接口由表征之间的关系构成，使架构不同、参数难以直接对应的模型也能够贡献专长。
框架将正交子空间对齐、层选择和轻量映射的联合训练结合起来。跨宿主、跨领域的实验，同时考察专业能力收益与宿主通用能力的保留，并分析来源模型增加时的表现。
3宿主模型
15能力领域
PCA低维功能子空间
当不同模型的表征能够对齐，能力才有机会跨越模型边界被组合。
能力组合的表征接口
子空间对齐、层选择、特征映射与联合训练，将来源模型的专长连接到宿主。
查看论文原图为什么研究这个问题
不同模型可能分别擅长不同任务，但架构和表示坐标并不兼容。直接叠加来源模型的表示，难以保证注入的变化具有一致含义，因此需要先建立可比较的功能空间。
方法如何工作
- 利用共享锚点样本提取来源与宿主表示，再通过 PCA 构造维度一致的任务功能子空间。
- 通过正交 Procrustes 映射对齐来源与宿主坐标，在建立对应关系的同时保留子空间内部几何。
- 以任务输出和来源模型增量联合监督残差 MLP，学习可注入宿主的、与输入相关的增量。
对齐前后的表征
通过对对齐敏感的投影，观察来源与宿主表征在对齐前后的关系。
查看论文原图实验发现了什么
实验覆盖 3 个宿主模型和 15 个能力领域。相较于所评估的跨架构融合方法，SuperAI 获得更高的平均领域得分，并在增加来源模型时更好地保留通用能力。消融结果支持正交对齐、非线性残差映射与联合监督的作用。
保留宿主的通用能力
比较来源专家数量增加时的 MMLU 能力保留情况。
查看论文原图这项研究意味着什么
这项工作的启发在于，训练完成的模型可以被进一步视为可复用内部计算的来源。除了架构兼容性，功能兼容性也可能成为组织模型协作的原则；表征对齐则让“哪些知识能够进入另一个模型并被有效使用”成为可以研究和验证的问题。
能力组合的质量还取决于宿主原有能力的保留，以及不同来源之间的干扰。论文中的评估将这些权衡具体化，也为后续研究留下一个关键问题：对齐质量能否在更广泛任务中稳定预测实际可用的迁移收益？
论文与相关资源
本文为论文介绍，方法定义、实验设置与完整结果请参见论文原文。
引用这项研究
@misc{superai,
title = {SuperAI: Merging Capabilities Across Heterogeneous Foundation Models},
author = {Dou, Jingtong and Shi, Chuancheng and Wu, Wenhua and Bao, Wei and Shen, Fei and Wang, Zhiyong and Chua, Tat-Seng},
year = {2026},
eprint = {2610.15322},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2610.15322}
}