事件/论文概述

arXiv 上新论文 《Rethinking User Encoders: Routing Diffusion States for Scenario-Adaptive User Representation》，作者包括 Junru Zhang、Jinyong Wen、Bin Dou、Wuliang Huang、Baokun Wang、Yu Cheng、Weiqiang Wang、Cheng Peng，提交于 2026 年 10 月 14 日，分类为 cs.AI。

论文关注的问题是：现有基于大语言模型（LLM）的用户编码器通常把异构行为日志序列化，再通过自回归（AR）预测压缩成静态用户表征。作者认为，这种单向约束限制了双向信息流，阻碍跨模态交互和多源信号的联合保留，导致学到的静态表征难以适配不同下游场景对证据的不同需求。

为此，论文提出 FINDERS（FactorIzatioN of Diffusion statEs for Routing across Scenarios），一个带路由器的扩散语言模型（dLLM）框架，包含四个操作：denoise、factorize、route、compress。作者还构建了 BehaviorQA 数据集，用于提供带有明确行为理由的监督信号。摘要称，在十个工业场景上的大量实验和在线 A/B 测试中，FINDERS 在统一设置和场景自适应设置下均优于当前最先进方法。

关键技术点

从摘要看，FINDERS 的核心思路可以拆成以下几个层面。

1. 把扩散去噪过程当作多粒度重建空间

论文没有沿用“把行为日志编码成一个静态向量”的常规路线，而是利用扩散语言模型的迭代去噪过程，将其视为一个多粒度的重建空间。也就是说，去噪过程中的中间状态不只是生成文本的副产物，而是可以被组织、分解和利用的表征资源。

这一点是论文最主要的切入点：用户行为日志包含多源、异构、跨模态信号，单一静态压缩容易丢失不同场景所需的证据。扩散过程提供的多阶段状态，理论上可以保留更丰富的中间信息。

2. 用 meta-slot 分解去噪状态

FINDERS 通过可学习的 meta-slot 组织互补的去噪状态，将其分解为两类信息：

  • 可迁移的跨模态语义；
  • 模态特定的行为因子。

这种分解试图把用户表征中的“通用语义”和“场景/模态相关因子”区分开。相比把所有信号压进一个向量，因子化结构更利于后续按场景路由。

3. 场景查询驱动的轻量路由器

在得到因子化表征后，FINDERS 使用一个轻量级路由器，根据场景查询动态强调相关的 slot 方向。摘要特别提到，路由器通过 input-level residual pathway 在跨源融合和最终压缩之前施加影响。

这意味着最终用户表征不是固定不变的，而是会随下游场景查询发生自适应调整。对于推荐、广告、搜索等不同任务，所需的用户证据可能不同，路由器的作用就是选择更相关的行为因子。

4. BehaviorQA 提供 grounded supervision

论文构建了 BehaviorQA，一个包含明确行为理由的大规模语料，用于给表征学习提供更有依据的监督。摘要只说明其包含显式行为 rationale，关于数据规模、构造流程、标注方式、质量控制等细节，原文未说明。

5. 统一设置与场景自适应设置

实验覆盖十个工业场景，并同时评估统一设置和场景自适应设置。摘要称 FINDERS 在两类设置下均优于 SOTA，并进行了在线 A/B 测试。具体指标、基线、提升幅度、线上流量规模等，原文未说明。

对数据科学或 AI Agent 落地的意义

对用户表征与推荐系统

这篇论文的价值在于重新审视“用户编码器”的设计假设。传统做法倾向于把用户行为压缩成一个静态向量，再供多个下游任务共享。但不同场景对用户证据的需求并不一致：有的场景更关注短期兴趣，有的更关注长期偏好，有的依赖跨模态行为。FINDERS 通过因子化 slot 和场景查询路由，把“一个静态向量”变成“可按场景调用的表征结构”，这对推荐、广告、搜索和多任务学习都有直接启发。

对 AI Agent 的用户记忆

在 AI Agent 场景中，用户偏好、历史行为和任务上下文往往需要被编码为可调用的记忆。FINDERS 的“场景查询 + 路由 slot”机制，可以类比为一种查询感知的记忆检索：Agent 不必把所有用户信息一次性塞进上下文，而是根据当前任务选择相关行为因子。这对于构建长期用户记忆、个性化助手和多场景 Agent 有参考价值。

不过需要注意，论文的实验集中在工业场景，是否适用于 Agent 的实时交互、多轮任务和工具调用，原文未说明。Agent 场景对延迟、隐私、可解释性和记忆更新频率的要求，也可能与推荐系统不同。

对数据科学工程

BehaviorQA 这类带行为理由的监督语料，提示了一个重要方向：用户表征学习不仅需要行为序列，还需要可解释的中间监督。若这类数据能规模化构建，可能提升表征的可解释性和下游适配能力。但其标注成本、偏差控制和隐私合规问题，原文未说明。

我的技术点评

这篇论文的立意比较有意思：它不是简单地把 LLM 用户编码器换成一个更大的 backbone，而是试图把扩散模型的“去噪轨迹”转化为可分解、可路由的表征空间。把 denoise、factorize、route、compress 串成一条链路，逻辑上是完整的：先去噪得到多粒度状态，再分解为跨模态语义和行为因子，再按场景查询路由，最后压缩成下游可用表征。

我认为最值得关注的是“场景自适应”这一层。很多用户表征工作强调统一表征的泛化性，但实际业务中，多场景往往需要不同的证据组合。FINDERS 用轻量路由器在输入层做残差式强调，理论上比重新训练多个场景专用编码器更经济，也比完全共享一个静态向量更灵活。

但同时有几个问题需要进一步验证。第一，扩散语言模型的迭代去噪会带来额外计算开销，线上延迟和吞吐是否可接受，摘要没有给出。第二，meta-slot 的因子化是否真的解耦了跨模态语义与模态特定因子，还是只是形式上的分组，需要看消融和可视化分析。第三，BehaviorQA 的监督质量会直接影响表征质量，其构建方式和偏差控制很关键。第四，十个工业场景的在线 A/B 测试虽然增强了说服力，但摘要没有披露具体提升幅度和统计显著性，原文未说明。最后，论文批评自回归单向约束，但双向编码器等其他方案是否被充分比较，摘要未说明。

总体而言，FINDERS 代表了一个值得跟进的方向：把扩散模型从“文本生成器”扩展为“用户表征学习器”，并通过路由机制实现场景自适应。若工程成本和数据监督问题能解决，这类方法在多场景用户建模、个性化 Agent 记忆和跨模态行为理解上都有落地潜力。

原文链接

  • arXiv: https://arxiv.org/abs/2610.22400
  • 标题：Rethinking User Encoders: Routing Diffusion States for Scenario-Adaptive User Representation
  • 提交时间：2026 年 10 月 14 日
  • 分类：cs.AI