应用研究 / 多模态取证 / 研究解读
超越表面伪迹：跨模态共享潜在伪造知识
MAF 通过共享 MLP 检测器开展跨模态鉴伪，并探测神经元共激活以检验共享的潜在鉴伪知识。
核心内容
Beyond Surface Artifacts 将伪造检测的泛化对象，从同一媒介中的新生成器扩展到不同模态。MAF 框架结合模态特定感知器与共享轻量检测器，通过正则化减少对模态风格的依赖，推动面向取证的表征对齐。
两种评估区分不同迁移条件：Weak MAF 使用语义对齐的感知器，Strong MAF 则为未知模态独立学习感知器。在后一种设置中，可利用目标模态数据进行自监督表征学习，而伪造判别器保持固定。
三类媒介视频、音频与图像
两种条件Weak 与 Strong MAF
共享判别器面向未知模态的检测
取证迁移需要考察：当物理媒介及其熟悉伪迹变化后，哪些判别信息仍然有效？
区分检测器复用与感知器条件
Weak 与 Strong MAF 明确区分未知模态表征的不同假设。
查看论文原图为什么研究这个问题
面向语义的表征对齐，并不意味着取证所需的细微差异也已经对齐。检测器可能表现出广泛的预测能力，却仍然依赖已经见过的媒介特有伪迹。
方法如何工作
- 通过各模态感知器编码来源数据，并训练共享轻量伪造检测器。
- 结合分类目标与跨模态正则，鼓励可迁移的取证表征。
- 在 Weak 与 Strong MAF 中评估未知模态，并明确区分目标感知器和可用数据的假设。
语义对齐与取证对齐
原始可视化比较语义空间与取证空间中的模态结构。
查看论文原图实验发现了什么
DeepModal-Bench 比较视频、音频与图像之间的泛化。所选图表对照语义与取证空间的特征分布，并展示不同预训练感知器上的 Strong MAF 结果；其他分析进一步检查分布一致性与跨模态神经元共激活。
检验更强的迁移设置
柱状图比较多种感知器和基准上的 Strong MAF 检测准确率。
查看论文原图这项研究意味着什么
这项工作将泛化的基本单位，从新生成器推进到新的信号类型。由此，检测能力需要接受更严格的追问：已学差异中，哪些属于取证任务，哪些仅属于观察任务时所用的媒介？
两种设置也使迁移假设更加清楚。对齐感知器下的表现，与独立目标表征下的表现，能够支持的结论有所不同。持续明确这些条件，才能判断究竟有多少取证知识跨越了模态边界。
论文与相关资源
本文为论文介绍，方法定义、实验设置与完整结果请参见论文原文。
引用这项研究
@misc{beyond_surface_artifacts,
title = {Beyond Surface Artifacts: Capturing Shared Latent Forgery Knowledge Across Modalities},
author = {Dou, Jingtong and Shi, Chuancheng and Wang, Jian and Shen, Fei and Wang, Zhiyong and Chua, Tat-Seng},
year = {2026},
eprint = {2604.07763},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2604.07763}
}