NExT-LFM · 研究解读
更多研究
应用研究 / 应用研究 / 研究解读

Forensic Reserve:激发潜在知识以检测图像伪造

先定位预训练模型内部的潜在鉴伪储备,再让轻量适配沿这些既有方向发挥作用。

Li Jiahua John Zixu Zhong Tom Wu Fuping Xu Tianhao Zheng Jianqing Mo Yuanhan Shen Fei

预印本 阅读原文 PDF
概念视觉: Forensic Reserve:激发潜在知识以检测图像伪造
根据研究主题创作的概念视觉。

核心内容

Forensic Reserve 研究冻结视觉编码器中已经存在的取证信号。F-Lens 定位能够区分真实与生成图像的稀疏成分,Reserve-Guided Elicitation 则在选定位置的受限子空间中进行适配。模型内部的功能结构,由此决定适配应当作用在哪里。

这使可解释分析直接参与适配设计:有限样本与可训练参数集中于已定位的取证储备,而不同特征和层获得有区别的处理。跨骨干实验进一步检验,这种策略是否能够超越某一个特定编码器。

500标注训练图像
<0.2%可训练参数预算
8预训练编码器

高效适配的起点,是找到预训练模型已经拥有的任务相关能力。

图2 · 先定位,再选择性适配. F-Lens 定位取证储备,FRA 在选定位置的受限子空间中适配。
图2 / 第3页

先定位,再选择性适配

F-Lens 定位取证储备,FRA 在选定位置的受限子空间中适配。

查看论文原图

为什么研究这个问题

预训练表示可能已经包含有助于区分真实与生成图像的信号,但常规任务适配未必明确利用这些信号。先确定其位置与方向,可以为适配器的插入方式和更新空间提供依据。

方法如何工作

  1. 通过 F-lens 分解不同层与 token 组的激活,并根据真实与生成图像之间的响应差异筛选储备成分。
  2. 将选中的方向映射回隐藏状态空间,构造固定子空间,并在定位到的位置插入鉴伪储备适配器。
  3. 仅训练适配器的系数映射,固定主干、已拟合的参考分类器和子空间基,约束残差更新方向。
图4 · 取证储备位于何处. 位置地图、深度受限适配与成分响应,共同分析取证储备的结构及其利用方式。
图4 / 第7页

取证储备位于何处

位置地图、深度受限适配与成分响应,共同分析取证储备的结构及其利用方式。

查看论文原图

实验发现了什么

RGE 使用 500 张标注图像,可训练参数少于主干参数的 0.2%,在不针对目标基准适配的设置下评估了 3 个检测基准。其相对对应冻结检测器的改进,在 8 个编码器上均得到观察。

图6 · 跨骨干与成分预算分析. 图中比较不同骨干与储备成分预算下的检测表现。
图6 / 第9页

跨骨干与成分预算分析

图中比较不同骨干与储备成分预算下的检测表现。

查看论文原图

这项研究意味着什么

这项研究建立了理解表征与数据效率之间的具体联系。定位任务相关子空间,能够减少小样本学习需要估计的自由度,使适配更充分地调用已有判别能力。由此,机制分析可以成为控制训练成本和适配范围的依据。

面向真实取证场景,关键仍是对未知生成器和分布变化的适应能力。取证储备提供了一个可追踪的研究对象:系统复用了哪些信号、适配怎样改变这些信号,以及这些信号在什么条件下会失去判别力。

论文与相关资源

本文为论文介绍,方法定义、实验设置与完整结果请参见论文原文。

引用这项研究
@misc{forensic_reserve,
  title = {Forensic Reserve: Eliciting Latent Knowledge for Image Forgery Detection},
  author = {Li, Jiahua and John, Zixu and Zhong, Tom and Wu, Fuping and Xu, Tianhao and Zheng, Jianqing and Mo, Yuanhan and Shen, Fei},
  year = {2026},
  eprint = {2610.08639},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2610.08639}
}