DV-Lens：揭示语言模型参数的功能组织
把原生参数映射到词表空间，再用局部输出变化和定向干预检验这些读出。
核心内容
DV-Lens 把词表作为理解原生参数的共同坐标系。它沿着模型的下游计算，将参数方向转化为带符号的局部输出响应：一个方向倾向于增强哪些词、抑制哪些词。由此，注意力与前馈模块中原本难以直接比较的参数，获得了可在输出端检验的功能描述。
工作进一步追问：参数的功能组织方式，是否包含关于模型能力的信息？DV-Complexity 刻画功能分组内部的结构变化，并通过有限差分、定向干预和 48 个模型的比较，将参数读出与不同尺度上的可观察行为联系起来。
参数解释的价值，在于它能否预测模型输出会怎样改变。
从参数到词表响应
下游映射将 DV-Lens 与直接词表投影、激活分解区分开来。
查看论文原图为什么研究这个问题
理解参数的含义，需要进一步回答：改变这个参数，输出会怎样变化？不同模块的参数处于不同空间，直接比较它们的功能并不容易。因此，这项工作把最终词表作为共同的观察空间。
方法如何工作
- 在参考提示上估计注意力 Q/K/V/O 投影及 FFN 的下游 Jacobian，建立模块到最终输出的局部映射。
- 把原生参数列投影到词表空间，得到描述平均局部输出响应的带符号读出。
- 按词表读出对参数列分组，再利用原始权重的归一化重建残差，刻画组内结构变化。
检验局部变化预测
有限差分在九个模型上检验变化方向的一致性，以及高影响词表坐标的恢复情况。
查看论文原图实验发现了什么
有限差分检验覆盖 9 个模型、720 个案例，局部变化方向的一致率为 98.0%。读出还用于 21 个模型上的消融、引导和参数替换。在 48 个模型上，联合参数 DV-Complexity 与基准能力排序的 Spearman 相关系数达到 0.904。
参数组织与模型能力
在固定的 48 个模型中比较 DV-Complexity 与基准能力排序；这里呈现的是相关关系。
查看论文原图这项研究意味着什么
这项研究指向一种具有预测力的可解释性：解释需要提出关于行为变化的具体假设，并通过干预接受检验。满足这一条件的参数地图，可以成为模型编辑、行为引导与能力迁移的实验接口，让“理解模型”进一步连接到“如何操作模型”。
DV-Complexity 也提示，除了参数规模，参数如何被组织可能同样值得研究。它与能力排序的相关性，为后续受控实验提供了线索；是否能通过主动改变这种组织来提升能力，仍需要独立的因果证据。
论文与相关资源
本文为论文介绍，方法定义、实验设置与完整结果请参见论文原文。
引用这项研究
@misc{dv_lens,
title = {DV-Lens: Revealing the Functional Organization of Language Model Parameters},
author = {Cui, Chenhang and Yu, Jian and Miao, Shuyi and Liu, Xiaohao and Huang, Rui and Shen, Fei and Zhang, An and Chua, Tat-Seng},
year = {2026},
eprint = {2610.04489},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2610.04489}
}