NExT-LFM · 研究解读
更多研究
基础研究 / 机制理解 / 研究解读

文化在哪里消退?揭示文生图中的文化差距

模型可能已经具备文化知识,却未能在多语言文生图过程中充分激活它。

Shi Chuancheng Li Shangze Guo Shiming Xie Simiao Wu Wenhua Dou Jingtong Wu Chao Xiao Canran Wang Cong Cheng Zifeng Shen Fei Chua Tat-Seng

CVPR 2026 · Highlight 阅读原文 PDF
概念视觉: 文化在哪里消退?揭示文生图中的文化差距
根据研究主题创作的概念视觉。

核心内容

Where Culture Fades 研究文生图模型中文化表征激活不足的问题。工作追踪文化信息在哪里减弱,识别稀疏的文化相关神经元,并检验推理时激活与定向增强;CultureBench 则将内部分析连接到生成图像的文化忠实度。

研究区分了拥有表征与成功表达表征,考察调用已有知识是否能够改善特定文化的生成表现,同时追踪生成质量与多样性。

2分析的代表性模型
稀疏文化敏感神经元
2互补对齐策略

文化知识可能已经存在于模型中,却没有充分参与最终图像的生成。

图5 · 追踪模型内部的文化信息. 注意力差异用于定位文化敏感层,再进一步识别稀疏文化神经元。
图5 / 第4页

追踪模型内部的文化信息

注意力差异用于定位文化敏感层,再进一步识别稀疏文化神经元。

查看论文原图

为什么研究这个问题

视觉逼真与语义对齐,并不自动意味着模型能够保留不同语言提示所承载的文化内涵。文化一致性需要被单独定义和检验。

方法如何工作

  1. 在代表性文生图模型中,分析多语言提示下的文化一致性与偏向。
  2. 通过探测方法,将文化敏感信号定位到少数固定层中的一小组神经元。
  3. 在推理阶段增强选中神经元,或仅更新与文化相关的层,形成两种互补的对齐策略。
图7 · 稀疏且具有文化差异的响应. 神经元频率峰展示文化相关响应的集中分布。
图7 / 第5页

稀疏且具有文化差异的响应

神经元频率峰展示文化相关响应的集中分布。

查看论文原图

实验发现了什么

对两个代表性模型的分析支持了文化表示激活不足这一解释。CultureBench 上的评估报告了文化一致性的改善,同时考察并保留图像保真度与多样性。

表2 · 从内部激活到最终生成. CultureBench 指标将文化忠实度与其他生成指标一同进行比较。
表2 / 第7页

从内部激活到最终生成

CultureBench 指标将文化忠实度与其他生成指标一同进行比较。

查看论文原图

这项研究意味着什么

当我们通过输出判断模型知道多少时,这一区分尤其重要。泛化、缺少文化细节的图像,可能来自知识调用不足,也可能来自知识缺失,或两者共同作用。内部分析有助于拆分这些解释,并提出更具体的干预。

更广泛的目标,是让文化忠实生成同时具有可识别的内部机制与可衡量的外部结果。论文在所测试的模型和文化覆盖范围内提供了证据;面对不同社区,仍需要更丰富的在地评估,理解文化忠实度的具体内涵。

论文与相关资源

本文为论文介绍,方法定义、实验设置与完整结果请参见论文原文。

引用这项研究
@misc{where_culture_fades,
  title = {Where Culture Fades: Revealing the Cultural Gap in Text-to-Image Generation},
  author = {Shi, Chuancheng and Li, Shangze and Guo, Shiming and Xie, Simiao and Wu, Wenhua and Dou, Jingtong and Wu, Chao and Xiao, Canran and Wang, Cong and Cheng, Zifeng and Shen, Fei and Chua, Tat-Seng},
  year = {2025},
  eprint = {2511.17282},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2511.17282}
}