基础研究 / 能力激发与迁移 / 研究解读
BARQ：面向低比特大语言模型量化的平衡码本优化
在拟合阶段为各个码字提供更均衡的更新机会，以改善低比特量化质量。
核心内容
BARQ 研究向量量化中的码字集中现象：大量权重块聚集到少数码字，会使名义上的表示容量难以有效利用。方法通过最优传输构造平衡软分配，结合曲率感知的代价，并以重心更新细化码字。
平衡约束作用于码本拟合阶段，部署仍采用常规硬分配与码字查找。这一区分使寻找压缩表示时的优化几何，与最终存储和执行时的格式各司其职。
OT曲率感知软分配
平衡码字拟合权重
硬编码标准部署编码
低比特压缩的效果，也取决于有限码本是否被充分而合理地使用。
平衡码本拟合过程
曲率感知传输、平衡分配与重心更新，共同在硬分配部署前细化码本。
查看论文原图为什么研究这个问题
最近码字分配可能使部分码字获得的更新权重过少，导致有效码本利用不足。对于表示容量已经受限的低比特部署，这会进一步影响重建质量。
方法如何工作
- 采用带熵正则的最优传输，在均匀边缘约束和曲率加权重建代价下建立软分配。
- 根据分配权重进行码字重心更新，并分析固定分配条件下的最优性及有限 Sinkhorn 迭代的适用条件。
- 拟合结束后丢弃软分配，使用优化后的码本进行标准硬最近码字编码。
码字使用是否更加充分？
最大码字占比反映权重块向最常用码字集中的程度。
查看论文原图实验发现了什么
论文给出了改善硬量化失真和评估损失的充分条件。在所评估的大语言模型和可比比特预算下，实验报告了相对所比较基线更低的困惑度，以及更高的平均零样本准确率。
成对的模型质量比较
原表在多组模型和量化配置中，与 GPT-VQ 比较困惑度和平均准确率。
查看论文原图这项研究意味着什么
从这一视角看，压缩也是一种容量分配问题：有限的离散代表需要按照权重对模型行为的影响，去覆盖复杂的权重结构。除了位宽和分块大小，分配方式本身也成为可设计的变量。
最终价值取决于码本利用的改善能否转化为能力保留。BARQ 将码字使用诊断与成对的模型质量比较结合起来，使压缩机制及其行为收益能够在同一条证据链上被观察。
论文与相关资源
本文为论文介绍，方法定义、实验设置与完整结果请参见论文原文。
引用这项研究
@misc{barq,
title = {BARQ: Balanced Codebook Refinement for Low-Bit LLM Quantization},
author = {Cui, Chenhang and Xie, Xu and Xu, Linrui and Liu, Xiaohao and Zhu, Xingyu and Shen, Fei and Chua, Tat-Seng},
year = {2026},
eprint = {2610.04490},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2610.04490}
}