事件概述

arXiv 于 2026-10-13 在 cs.AI 板块更新了一篇新论文 《CLEAT: Learning Value-Guided Clarification for Interactive Agents》（arXiv:2610.12655v1，2026 年 10 月 8 日提交）。作者为 Jiatan Huang、Zheyuan Zhang、Ziming Li、Tianyi Ma、Mingchen Li、Yanfang Ye、Chuxu Zhang 共 7 人。

论文关注的是 LLM Agent 落地过程中一个非常现实的痛点：Agent 已经能执行越来越复杂的任务，但用户往往不会把目标与约束说全。此时，Agent 是否应该主动提问澄清，就成了交互式意图对齐（interactive intent alignment through clarification）的核心问题。

CLEAT 的出发点是：澄清本身只有在 Agent 能把答案转化为更好的决策时才有价值。随着训练推进，Agent 处理不完整信息、利用补充答案的方式会发生变化，同一次澄清可能变得更有用，也可能变得更没用。因此论文提出 CLEAT（CLarification through valuE-guided Agent co-Training），一个从共享交互结果中协同训练“澄清价值控制器”与“任务策略”的框架。

关键技术点

1. 核心问题：澄清的价值是动态的

论文强调，澄清的效用并不是静态属性，而是取决于当前策略。如果策略已经能靠猜测完成任务，提问的价值就低；如果策略对某个缺失约束极度敏感，提问的价值就高。这一点决定了“事先训练一个固定的提问分类器”很难长期有效。

2. 残余查询价值（residual query value）

CLEAT 提出用 残余查询价值 来度量：在当前策略下，选择“提问”相对于“直接推进”所带来的任务效用增益。换言之，它衡量的是提问带来的边际收益，而不是提问本身是否合理。

3. 配对 rollout 估计

为了估计这一价值，论文采用 paired rollouts：从同一段交互历史出发，进行成对的展开，用两者的回报差来估计澄清的价值。这种配对方式把“提问”与“不提问”放在同一上下文里对比，减少了历史差异带来的噪声。

4. 控制器与任务策略协同训练

这些配对回报同时承担两个训练信号：

  • 训练 澄清价值控制器，使其能够预测某次澄清的价值；
  • 训练 任务策略，使其学会选择有用的提问，并正确利用得到的答案。

同时，控制器会引导后续的 rollout 采集，而更新后的 Agent 产生的新结果又会提供新的价值标签，使澄清引导能够随策略演化而自适应调整。这是一个双向闭环：控制器影响数据分布，数据分布又反过来更新控制器的判断标准。

5. 实验与结果

论文以 Qwen3-4B 为基座模型，在四个 benchmark 的 全部十个评测设置 中取得了最高平均分。相比最强基线：

  • UserGym Travel 上提升 13.2 个百分点；
  • IN3 underspecification judgment accuracy 上提升 6.5 个百分点。

消融实验给出两个值得注意的结论：其一，即使在推理阶段移除控制器，协同训练本身仍能提升任务策略；其二，让澄清引导适应不断演化的策略，能带来进一步的收益。

原文未说明具体的训练算法类型、数据规模、是否开源代码，也未说明这四个 benchmark 的具体构成细节。

对数据科学或 AI Agent 落地的意义

第一，“该不该问”正在从提示工程问题变成可学习的决策问题。过去在 Agent 产品里，澄清往往靠固定的置信度阈值或硬编码规则触发，例如信息缺字段就追问。CLEAT 的思路是把提问放进效用框架里评估：问了能让最终任务得分提高多少。这对数据科学场景尤其自然——数据分析请求经常缺失口径、时间范围、过滤条件，而这些缺失项对最终结论的影响差异极大。

第二，澄清策略与任务策略必须一起演化。如果只训练任务策略，Agent 会逐渐学会在信息不足时“猜”，而提问能力不随之更新；如果只训练提问模块，它可能问出对人类看起来合理、但对当前策略毫无增量信息的问题。协同训练把两者的目标函数绑定在同一组交互结果上，这是工程上可直接借鉴的设计原则。

第三，回报差作为监督信号，是可以推广的范式。凡是“主动获取信息”的 Agent 能力——澄清提问、工具调用前的确认、检索前的 query 改写——本质上都可以用“如果多拿一次信息，任务效用提升多少”来定义价值。CLEAT 的配对 rollout 提供了一种不需要额外人工标注的估计路径。

第四，小模型上的验证有现实参考价值。实验使用 Qwen3-4B，说明这套方法未必依赖超大模型；对于算力受限的团队，交互式澄清是一个可以用训练而非堆参数换来的能力。

我的技术点评

这篇论文最有洞察力的一句话，是“澄清只有在 Agent 能把答案变成更好的决策时才有用”。它把一个常被当作自然语言交互技巧的问题，重新定义为策略相关的价值估计问题。这个视角转换比具体实现更有长期价值：一旦接受“澄清价值随策略漂移”，任何静态的提问规则都会显得脆弱。

“残余查询价值”的命名也颇为准确——它讨论的是相对于当前行为的增量，而不是绝对收益。配对 rollout 用同一历史做对照，是一种干净且相对低成本的设计：不需要额外的人工偏好标注，就能得到训练信号。代价是采样开销翻倍，并且在长程任务里对配对的两条轨迹做归因并不容易。原文摘要没有披露在长程、多轮澄清场景下的稳定性表现，这可能是最值得后续关注的部分。

另外一个有意思的发现是：即使推理时把控制器拿掉，协同训练仍然提升了任务策略。这暗示控制器在训练中扮演了“课程设计者”或“数据筛选器”的角色——它的价值不只在推理阶段做判断，更在于塑造了策略所看到的数据分布。这种“训练期辅助模块、推理期可移除”的模式，在产品化时非常友好，因为它不增加线上延迟。

当然，从摘要到可用系统之间仍有距离。摘要中没有说明奖励如何定义、是否需要环境提供可验证的任务成功信号，也没有说明在开放式对话里怎么度量“任务效用”。如果奖励依赖 benchmark 的自动评测，那么迁移到真实业务时的奖励设计就是最大的工程难点。此外，13.2 个百分点的提升集中在 UserGym Travel 这一设置上，其他九个设置的具体增益幅度、方差和显著性，都需要看正文才能判断这套方法的普适程度。

总体而言，CLEAT 指出了一个被低估的方向：Agent 的竞争力不只体现在“能不能做”，也体现在“知道什么时候不该猜”。对于做 Agent 落地的团队，这比再加一层提示词模板要根本得多。

原文链接