事件概述

arXiv 上出现一篇新论文 《Converge Then Diversify: Decoupling Convergence and Diversity in Multi-Objective Bayesian Optimisation》（arXiv:2609.13396，cs.AI，交叉 stat.ML），作者为 Chao Jiang、Yueling Huang、Miqing Li，于 2026 年 9 月 11 日提交，全文 26 页、4 张图。

论文针对的是多目标贝叶斯优化（MOBO）中的一个老问题：MOBO 的目标是用尽量少的样本，去近似昂贵的黑箱多目标函数的 Pareto 前沿。一个高质量的近似解集需要同时满足两点——收敛性（解尽可能靠近真实 Pareto 前沿）和多样性（解尽可能铺满整条前沿）。

现有 MOBO 方法的常规做法是“同时兼顾”：一边把搜索推向 Pareto 前沿，一边维持一组非支配解的分散度，希望解集能逐步逼近整条前沿。论文指出，这种策略在搜索预算充足时是有效的，但要同时把收敛和多样性都处理好，本身就需要相当精心的设计；而在预算非常紧张的情况下，可能根本生成不出足够多的解去同时逼近整条 Pareto 前沿。

为此，论文提出 converge-then-diversify（CTD） 方法，把收敛和多样性解耦成两个阶段：

  • 第一阶段：只关注收敛，尽快把搜索推向 Pareto 前沿上的某一个点；
  • 第二阶段：只关注多样性，让解在前沿上铺开。

论文给出了 CTD 的两个简单实例，均基于该领域广泛采用的采集函数（acquisition function）。摘要中未具体说明采用的是哪两种采集函数。

实验方面，论文共进行了 446 组两两比较：CTD 在 72.9% 的情况下统计显著优于当前最先进方法，21.1% 情况表现相当，仅有 6.1% 显著更差；并且这种优势在评估预算极紧和高维问题的设定下尤其明显。

关键技术点

1. 问题定位：预算约束下的“双目标冲突”

MOBO 追求的解集质量由收敛性与多样性共同定义，但这两者在样本受限时天然存在资源竞争。论文的观察是：当评估预算很紧时，把有限的采样配额摊派到“既要靠近前沿、又要铺开”上，可能两头都做不好。这一点不是算法细节问题，而是预算分配策略问题。

2. 核心思路：分阶段解耦

CTD 把整个搜索过程切成两个目标单一、互不干扰的阶段：

  • 第一阶段是纯粹的“定位”——不要求覆盖，只要求快速抵达 Pareto 前沿上的某个点；
  • 第二阶段是纯粹的“铺开”——在已经贴近前沿的基础上扩展解集。

这种做法的直觉是：先建立“落脚点”，再从这个落脚点向外扩散，避免在离前沿还很远的地方就浪费预算去维持多样性。摘要没有说明两个阶段的切换判据、预算如何划分，这部分原文未在摘要层面说明。

3. 实现方式：复用已有采集函数

论文强调 CTD 的两个实例都是“简单”的，且直接使用了领域中广泛采用的采集函数，而不依赖新设计的复杂采集策略。这意味着 CTD 更像是一种流程层面的重构（把两阶段结构套到已有采集函数上），而不是一个全新组件。具体是哪两种采集函数、实验用了哪些基准问题和评价指标，摘要中均未给出。

4. 实验证据：446 组两两比较

  • 显著更优：72.9%
  • 表现相当：21.1%
  • 显著更差：6.1%

优势场景集中在“极紧预算”和“高维问题”，这与论文的动机是自洽的——恰恰是资源最紧张、同时兼顾最困难的时候，分阶段策略收益最大。

对数据科学 / AI Agent 落地的意义

MOBO 的典型应用场景是评估代价高昂的黑箱优化：每采样一个点，都要跑一次真实实验、仿真或大模型调用。在数据科学工作流里，这对应超参数搜索、特征/流程配置的联合调优、A/B 方案的权衡取舍；在 AI Agent 场景里，则对应 Agent 在多个互相冲突的目标之间做决策——例如成本、延迟、质量、安全性的多目标折衷。

CTD 带来的一条可迁移经验是：当评估预算极紧时，“先收敛、后铺开”的两阶段策略可能比“全程兼顾”更划算。 在 Agent 的自动调优或策略搜索环节，这意味着可以先集中少量昂贵的评估把配置拉到一个可用解，再在周边做小范围扩散式探索，而不是一开始就试图均匀覆盖整个搜索空间。

第二条经验是解耦本身带来的工程简化。把收敛和多样性拆开后，每一阶段的评价标准是单一且明确的，这降低了调参难度，也让阶段之间可以独立替换组件。对于需要快速搭出可用优化环路的团队来说，这种结构性简化通常比引入更复杂的采集函数更有性价比。

需要注意的是，论文的结论建立在其具体实验设置之上；CTD 在真实业务的多目标问题、非平稳目标或带约束场景下的表现，原文未说明，落地前仍需自行验证。

我的技术点评

这篇论文的贡献不在于提出了新的采集函数，而在于重新审视了“同时优化两个目标”这一默认假设。MOBO 领域的多数工作把收敛和多样性当作必须在每一步都平衡的孪生目标，而 CTD 直接指出：在预算不足时，这种坚持本身可能是负担。这是一个很“工程直觉”的洞察——先找到解，再找更多的解，顺序上本来就有先后之分。

分阶段解耦的代价也很明显：第一阶段的“单点”选择会强烈影响第二阶段的展开质量。论文摘要没有说明第一阶段如何选点、如何判断可以进入第二阶段、以及阶段划分对最终解集质量的敏感性。如果第一阶段收敛到的点位于前沿的极端位置，第二阶段能否仍然覆盖整条前沿，是一个值得追问的问题——这部分原文未说明。此外，两个实例复用已有采集函数，说明方法的门槛低、易复现，但也意味着它的增益主要来自流程结构而非组件创新，对更强采集函数的组合效果如何，尚无公开信息。

从实证角度看，446 组比较中 72.9% 显著更优、仅 6.1% 显著更差，这个分布是相当扎实的证据；而且优势集中在极紧预算与高维场景，恰好是实践中最常见、也最让人头疼的设定。如果这一结论在更多问题上稳定成立，那么“预算分配策略”可能会成为 MOBO 后续研究的一个独立方向，而不只是采集函数设计的附庸。

最后提醒：26 页、4 张图，说明这是一篇有较完整实验与分析的论文，但摘要之外的实验设置、基准选择、阶段切换机制等关键细节，都需要读原文确认。

原文链接

  • arXiv 摘要页：https://arxiv.org/abs/2609.13396
  • DOI：https://doi.org/10.48550/arXiv.2609.13396
  • 标题：Converge Then Diversify: Decoupling Convergence and Diversity in Multi-Objective Bayesian Optimisation
  • 作者：Chao Jiang, Yueling Huang, Miqing Li
  • 提交时间：2026 年 9 月 11 日（v1），26 页，4 图
  • 学科分类：cs.AI（Artificial Intelligence）、stat.ML（Machine Learning）