NExT-LFM · 研究解读
更多研究
应用研究 / 具身可靠性 / 研究解读

MAE I Trust Myself? 用马尔可夫注意力熵自评估 VLA 动作可靠性

利用架构感知的注意力熵,将 VLA 内部视觉寻址转化为动作可靠性信号。

Aniri

预印本 约 4 分钟阅读 阅读原文 PDF 代码
概念视觉: MAE I Trust Myself? 用马尔可夫注意力熵自评估 VLA 动作可靠性
根据研究主题创作的概念视觉。

核心内容

MAE 研究 VLA 能否通过内部注意力信号评估自身动作生成。条件生成马尔可夫链提供了贯通潜在读出与潜在细化的共同抽象,而评分仍然保留二者在计算作用上的区别。

这种区别尤其关键:与可靠读出相伴的视觉注意力集中,并不意味着迭代细化也应采用相同的熵方向。MAE-D 与 MAE-C 根据架构选择评分方向,将视觉寻址转化为可靠性排序信号,无需用专家失败标签训练该评分。

4,000LIBERO-Reflect 评估回合
3评估覆盖的 VLA 策略
两类架构潜在读出与潜在细化

可靠性信号的含义,需要结合动作究竟通过什么计算过程生成来理解。

图3 · 共同视角与架构感知读出. 框架提取内部视觉寻址,再采用对应的 MAE 评分方向。
图3 / 第3页

共同视角与架构感知读出

框架提取内部视觉寻址,再采用对应的 MAE 评分方向。

查看论文原图

为什么研究这个问题

输出不确定性只能观察机器人动作生成的部分信息,不同动作头与细化过程又进一步增加了比较难度。内部信号可能提供补充证据,但统一套用相同解释,也可能抹去决定信号含义的架构差异。

方法如何工作

  1. 通过共同的条件潜在状态转移抽象,描述异构动作生成过程。
  2. 提取视觉注意力熵,并为潜在读出与潜在细化选择相应评分方向。
  3. 在 LIBERO-Reflect 的标准与挑战场景中,比较多个任务子集上的可靠性排序。
图2 · 视觉注意力与执行结果. 注意力图和评分分布比较成功与失败回合,以及视觉与文本信号。
图2 / 第2页

视觉注意力与执行结果

注意力图和评分分布比较成功与失败回合,以及视觉与文本信号。

查看论文原图

实验发现了什么

LIBERO-Reflect 包含 4,000 个回合,标准与挑战条件各占一半。评估覆盖 OpenVLA、OpenVLA-OFT 与 QwenPI-Flow,报告 AUPR、AUROC、FPR@95,并分析视觉与文本头、选择范围、效率及不同模拟种子的稳定性。

表1 · 异构策略中的可靠性评估. 原表比较三类策略在不同任务子集上的评估指标。
表1 / 第7页

异构策略中的可靠性评估

原表比较三类策略在不同任务子集上的评估指标。

查看论文原图

这项研究意味着什么

这项工作将自评估与被评估计算的结构联系起来。注意力熵的价值,取决于其方向与位置是否对应实际动作生成机制;相同的数值趋势,在不同架构中可能具有不同含义。

这为利用已有内部信息开展运行监测提供了路径。可靠性排序能够为后续干预或回退策略提供依据,而阈值校准与闭环任务收益,还需要在排序实验之外单独验证。

论文与相关资源

联系作者Aniri
aniri@dbs.ifi.lmu.de

本文为论文介绍,方法定义、实验设置与完整结果请参见论文原文。

引用这项研究
@misc{mae_vla,
  title = {MAE I Trust Myself? Self-Evaluating VLA Action Generation with Markov Attention Entropy},
  author = {Aniri and Chen, Yilin and Bi, Jinhe and Jin, Zengjie and Wang, Yujun and Tian, Yijun and Tresp, Volker and Shen, Fei and Chua, Tat-Seng and Ma, Yunpu},
  year = {2026},
  eprint = {2608.16697},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2608.16697}
}