Forensic Reserve:激发潜在知识以检测图像伪造
先定位预训练模型内部的潜在鉴伪储备,再让轻量适配沿这些既有方向发挥作用。
核心内容
Forensic Reserve 研究冻结视觉编码器中已经存在的取证信号。F-Lens 定位能够区分真实与生成图像的稀疏成分,Reserve-Guided Elicitation 则在选定位置的受限子空间中进行适配。模型内部的功能结构,由此决定适配应当作用在哪里。
这使可解释分析直接参与适配设计:有限样本与可训练参数集中于已定位的取证储备,而不同特征和层获得有区别的处理。跨骨干实验进一步检验,这种策略是否能够超越某一个特定编码器。
高效适配的起点,是找到预训练模型已经拥有的任务相关能力。
先定位,再选择性适配
F-Lens 定位取证储备,FRA 在选定位置的受限子空间中适配。
查看论文原图为什么研究这个问题
预训练表示可能已经包含有助于区分真实与生成图像的信号,但常规任务适配未必明确利用这些信号。先确定其位置与方向,可以为适配器的插入方式和更新空间提供依据。
方法如何工作
- 通过 F-lens 分解不同层与 token 组的激活,并根据真实与生成图像之间的响应差异筛选储备成分。
- 将选中的方向映射回隐藏状态空间,构造固定子空间,并在定位到的位置插入鉴伪储备适配器。
- 仅训练适配器的系数映射,固定主干、已拟合的参考分类器和子空间基,约束残差更新方向。
取证储备位于何处
位置地图、深度受限适配与成分响应,共同分析取证储备的结构及其利用方式。
查看论文原图实验发现了什么
RGE 使用 500 张标注图像,可训练参数少于主干参数的 0.2%,在不针对目标基准适配的设置下评估了 3 个检测基准。其相对对应冻结检测器的改进,在 8 个编码器上均得到观察。
跨骨干与成分预算分析
图中比较不同骨干与储备成分预算下的检测表现。
查看论文原图这项研究意味着什么
这项研究建立了理解表征与数据效率之间的具体联系。定位任务相关子空间,能够减少小样本学习需要估计的自由度,使适配更充分地调用已有判别能力。由此,机制分析可以成为控制训练成本和适配范围的依据。
面向真实取证场景,关键仍是对未知生成器和分布变化的适应能力。取证储备提供了一个可追踪的研究对象:系统复用了哪些信号、适配怎样改变这些信号,以及这些信号在什么条件下会失去判别力。
论文与相关资源
本文为论文介绍,方法定义、实验设置与完整结果请参见论文原文。
引用这项研究
@misc{forensic_reserve,
title = {Forensic Reserve: Eliciting Latent Knowledge for Image Forgery Detection},
author = {Li, Jiahua and John, Zixu and Zhong, Tom and Wu, Fuping and Xu, Tianhao and Zheng, Jianqing and Mo, Yuanhan and Shen, Fei},
year = {2026},
eprint = {2610.08639},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2610.08639}
}