事件概述

arXiv 上出现了一篇题为 ECHOES: Seeing Beyond the Current Image via Recursive History Compression and Privileged On-Policy Distillation 的论文，作者来自清华大学、StepFun、南洋理工大学、浙江零跑科技与荣耀等机构。论文提交于 2026 年 10 月 14 日，共 22 页、7 幅图、13 张表，归类为 cs.AI，同时涉及 cs.CV。

这篇工作瞄准的是长程 GUI Agent 的一个核心矛盾：要维持任务状态，就得看历史屏幕；但历史截图会显著推高视觉 token 用量和推理成本。另一种常见做法是把历史压缩成文本摘要，但摘要可能丢掉关键状态信息，导致 Agent 在长任务中“失忆”，可靠性下降。

ECHOES 的思路不是简单地在“保留截图”和“写文本摘要”之间二选一，而是把训练阶段才有的特权信息引入进来，指导模型学会更可靠地压缩历史。具体来说，模型采用 Compression-Think-Action（CTA） 格式，递归更新一个文本化的历史状态，并在此基础上进行推理和动作决策。训练时，同一个模型在获得多图特权输入后充当教师，对学生模型自己生成的 CTA 轨迹做密集的 token 级 on-policy 蒸馏。论文还提出了 PMF Gap-guided OPD-RL 框架，动态平衡特权蒸馏与任务奖励优化，并通过周期性更新教师来支持持续提升。

论文同时发布了 ECHOESBMK，一个从真实 GUI Agent 失败轨迹中构建的细粒度诊断基准，用于联合评估视觉感知与跨模态状态保持能力。在四个 GUI 基准和 ECHOESBMK 上的实验显示，ECHOES 在任务性能和记忆保真度上有明显提升；并且部署阶段不保留历史截图，仍能取得有竞争力的表现，呈现出较好的性能—推理成本权衡，还能零样本迁移到未见过的视觉规划任务。

关键技术点

1. Compression-Think-Action：把历史状态变成可递归更新的文本记忆

ECHOES 的核心交互格式是 Compression-Think-Action（CTA）。从摘要看，它包含三个连续环节：

  • Compression：对历史信息进行压缩，递归更新一个文本化的历史状态；
  • Think：基于当前观测和压缩后的历史状态进行推理；
  • Action：输出下一步动作。

这里值得注意的不是“文本摘要”本身，而是递归更新。长程 GUI 任务的状态不是一次性总结完就结束，而是随着每一步交互不断演化。CTA 把“记忆维护”显式地纳入每一步的生成过程，使历史状态成为一个持续被改写、被复用的变量，而不是一份静态的早期摘要。

论文的出发点是：保留历史截图会增加视觉 token 使用量和推理成本，而文本摘要可能丢弃关键状态信息。CTA 试图在两者之间找到一条折中路径——部署时只依赖文本历史状态，不再回看历史截图。

2. 特权在线策略蒸馏：训练时“多看图”，部署时“不看旧图”

ECHOES 最有意思的设计，是使用了训练时特权信息（training-time privileged information）。

在训练阶段，同一个模型可以获得多图输入，也就是能够看到更完整的历史视觉信息，此时它充当教师。学生模型则基于 CTA 格式自行生成轨迹，教师对这些学生自己生成的 rollout 提供密集的 token 级 on-policy 蒸馏信号。

这带来两个直接好处：

  • on-policy：蒸馏发生在学生实际会走到的状态分布上，而不是只在专家轨迹上做离线模仿；
  • token 级密集监督：相比只在任务结束时给一个稀疏奖励，token 级蒸馏能更细地告诉学生“历史状态该怎么压缩、哪些信息该保留”。

换句话说，训练时的教师拥有“看历史截图”的特权，学生则要学会在不看历史截图的条件下，把关键信息写进文本历史状态。教师的多图视野被蒸馏成学生的文本记忆能力。

3. PMF Gap-guided OPD-RL：在蒸馏与任务奖励之间动态平衡

论文提出了 Perception-Memory Fidelity（PMF）Gap-guided OPD-RL 框架。从摘要可以确定的信息是：

  • 它使用 PMF Gap 来引导；
  • 它动态平衡特权蒸馏和任务奖励优化；
  • 它支持周期性教师更新，从而持续改进。

这里的关键词是“动态平衡”。如果只做特权蒸馏，学生可能学得像教师，但未必能在任务奖励上取得最优；如果只优化任务奖励，稀疏的成败信号又不足以教会模型如何精细地维护历史状态。PMF Gap 的作用，从命名看是衡量感知与记忆保真度之间的差距，并用这个差距来调节蒸馏信号与 RL 任务奖励的相对权重。论文没有在摘要中给出具体的调度公式或超参数，原文未说明其详细实现。

周期性教师更新则意味着教师不是固定不变的：随着学生能力提升，教师也会更新，避免学生长期追逐一个静态目标。

4. ECHOESBMK：从真实失败轨迹中构建诊断基准

论文还提出了 ECHOESBMK，其特点是：

  • 数据来自真实 GUI Agent 失败轨迹；
  • 目标是细粒度诊断；
  • 联合评估视觉感知与跨模态状态保持。

这比只报告任务成功率更有诊断价值。长程 GUI 任务的失败往往不是“当前屏幕没看懂”，而是“之前看到的信息没有在后续步骤中被正确保留和调用”。ECHOESBMK 试图把这类失败拆开来看：到底是视觉感知出了问题，还是跨模态记忆保持出了问题。

对数据科学或 AI Agent 落地的意义

1. 长程 Agent 的成本结构需要重新设计

GUI Agent 的成本不只是“每一步调用一次多模态模型”，还包括历史上下文不断膨胀带来的 token 成本。如果每一步都把历史截图塞进上下文，视觉 token 会随步数增长，推理成本和延迟都会承压。ECHOES 给出的方向是：把历史记忆从“原始截图堆叠”转为“可学习的压缩状态”，并在训练阶段用特权信息保证压缩质量。

对落地团队来说，这意味着记忆模块不应该是一个拍脑袋的摘要 prompt，而应该是一个可训练、可评估、可蒸馏的组件。

2. 特权信息是训练与部署解耦的实用手段

“训练时多看，部署时少看”并不是新思想，但 ECHOES 把它和 on-policy 蒸馏、RL 任务奖励结合起来，形成了一套较完整的训练范式。对实际系统而言，这种思路很有吸引力：

  • 训练阶段可以承受更高的输入成本，比如多图、长上下文、甚至人工标注；
  • 部署阶段则追求低延迟、低成本；
  • 教师可以是同一模型的不同输入配置，而不一定需要额外的大模型。

这为“训练算力换推理成本”提供了一条可操作路径。

3. 记忆保真度需要独立评估

ECHOESBMK 的出现提醒我们：只用端到端成功率评估 Agent 是不够的。成功率高可能掩盖记忆模块的脆弱性，而长程任务一旦变长，脆弱性就会放大。对数据科学团队来说，构建从失败轨迹反推诊断维度的基准，比单纯堆更多任务更有价值。

我的技术点评

ECHOES 的问题定义很准。长程 GUI Agent 的记忆问题，本质上是状态压缩中的信息取舍问题：哪些历史信息对后续决策真正重要，哪些可以丢弃。文本摘要的失败，往往不是“摘要不够长”，而是“摘要不知道该保留什么”。ECHOES 用训练时特权信息来监督压缩过程，相当于给“该保留什么”提供了更密集的学习信号，这个方向是合理的。

CTA 格式也有工程上的好处：它把记忆更新显式化为一个生成步骤，使历史状态成为模型输出的一部分，而不是外部拼接的上下文。这让蒸馏和 RL 都能作用在“记忆怎么写”这件事上。

不过，从摘要信息看，还有几个需要后续验证的点：

  • 文本历史状态是否成为新的瓶颈：部署时不保留历史截图，所有跨步信息都压在文本状态里。如果压缩过程丢失了视觉细节，后续步骤可能无法恢复。论文报告了记忆保真度提升，但具体在哪些任务类型上仍会失败，原文未说明。
  • 教师与学生的能力差距：教师拥有多图输入，学生只有文本历史状态。如果差距过大，token 级蒸馏可能变成“教师说得多、学生学不会”。PMF Gap 的动态平衡正是为此设计，但具体调度策略和稳定性证据在摘要中没有展开。
  • 基准的覆盖面：ECHOESBMK 来自真实失败轨迹，诊断性强，但它的任务分布、规模、标注方式等细节，原文未说明。这会影响结论的外推范围。
  • 成本收益的量化：论文称取得了有利的性能—推理成本权衡，并能在不保留历史截图的情况下保持竞争力，但具体延迟、token 节省比例、性能差距数值，摘要中未给出，原文未说明。

总体而言，这是一篇把“记忆压缩”从 prompt 工程问题提升为训练目标问题的工作。它最值得借鉴的不是某个单独模块，而是整体思路：用训练时的特权视野，教模型在部署时用更便宜的表示记住同样重要的东西。对于正在做长程 GUI Agent、多模态 Agent 或需要跨步状态保持的系统来说，这篇论文提供了一个值得跟进的训练范式。

原文链接

注：本文基于论文摘要与 arXiv 页面信息撰写。论文中未在摘要披露的模型规模、训练数据、具体实验数值与实现细节，文中均标注为“原文未说明”。