事件概述

OpenAI 于 2026 年 10 月 20 日发布了一则客户案例：北美金融科技初创公司 Terminal X 利用 OpenAI 的 GPT-6.1 Sol 与 GPT-6.1 Luna 构建投研 Agent 体系，其内部的 Eval Agent 在 500 条已评分判断中与资深人类评审员的判断一致率达到 88.6%，高于次优模型的 86.4%，提升 220 个基点。

Terminal X 瞄准的是投资机构的一个结构性痛点，该公司称之为“记忆债”（memory debt）：机构能留住文档，却留不住做出判断时的推理过程。一旦几位资深投资人离开，摆在桌面上的备忘录还在，但“为什么这么投”的能力已经流失。

Terminal X 的方案是一套名为 Capital Memory 的操作系统。它的交付方式不是纯 SaaS：公司派驻“前向部署工程师”——这些人本身是来自 JPMorgan、Blackstone 的前金融与投资从业者——进驻客户的投资团队，花数周时间逆向拆解机构内被信任的备忘录，以及那些从未被写下来的流程（例如信贷台如何筛选借款人、联合投资团队在写备忘录前会调取哪些信息源），再把这些流程编码成客户自有的、可部署在本地或自有云的 Agent。

GPT-6.1 Sol 与 GPT-6.1 Luna 负责这些 Agent 内部的推理环节。案例给出的关键数字包括：

  • 25%：在“答案偏离基金投资授权（mandate）”这一错误类型上，GPT-6.1 Sol 相比次优模型多检出约 25%；
  • $2.4M：某客户通过自动化尽职调查与投资备忘录工作流实现的年化节省；
  • +220bps：Agent 与人类评审员的一致率提升；
  • 30%：单位查询成本相比次优模型下降约 30%，速度相近。

关键技术点

1. 模型分工：判断用大模型，吞吐用小模型

Terminal X 没有用一个模型打天下，而是按任务分层：

  • GPT-6.1 Sol 承担需要判断力和长上下文窗口的环节——综合投资论点、识别关键考量、评估与基金 mandate 的契合度；
  • GPT-6.1 Luna 承担高频步骤，这类步骤里 token 效率比推理深度更重要。

模型选择不是拍脑袋，而是基于 Terminal X 自己的评测结果。案例明确写到，其选型依据是自家 Eval Agent 的评分数据。

2. Eval Agent：把“VP 审分析师”这件事流水线化

Eval Agent 是整套体系的核心，被描述为一个跑在 GPT-6.1 Sol 及其他 OpenAI 模型上的编排式工作流，目标是“像 VP 读分析师作业那样”去读每一个 Agent 的输出。

它对每份输出执行一套 54 条准则的评分表（rubric），检查内容包括：数字、可比公司、市场一致预期、引文是否来自正确的信息源；叙事是否自洽；推荐结论是否与机构的核心观点（house view）一致。

每条准则给出 pass / fail。每一个 fail 都必须附带一行原因，以及更好的信息源或修正后的文本，并被固化为一条 Memory。用 CTO Ken Lee 的话说：遗漏的信源、错误的可比公司、偏离 house view 的论点，都会变成该团队的新工作流指令或新测试用例——“每一条答案都会被评估，分析师每一次的修正，都在教系统这家机构是怎么干活的。”

3. 风格漂移（style drift）：最有说服力的错误类型

案例中给出了一个具体的失效模式：某并购基金的 mandate 是寻找相对 NAV 折价交易的私有化标的、承销其业务并安排融资结构。当宏观情景模型暗示市场转向时，交易团队开始推荐困境债权头寸或救助融资——这在单笔交易视角下或许说得通，但整体上已经漂移出了基金的投资授权。

Eval Agent 配合 GPT-6.1 Sol，对这类偏离的检出率比次优模型高约 25%。这个例子价值很高：它说明在专业领域里，“错误”往往不是事实错误，而是在既定约束下的不合规推理，这类错误恰恰最难靠通用 benchmark 覆盖。

4. 长上下文带来的流程加深

Terminal X 表示，GPT-6.1 Sol 在长上下文任务上的 token 效率，让他们能在同一预算内构建更深的评审流程：投资论点先对照基金 mandate 检验，再对照其近期交易检验；不确定的判定会被重跑，Agent 在出报告前对结果做一致性调解。更深的评审流程抓出了单轮推理时被直接放行的交易。

5. Memory 与可审计性

每个 Agent 运行在客户的私有数据室中，处理英语、韩语、日语、中文文档。学到的东西以“Firm Memory”的形式存储——它是某个团队做某类决策的版本化记录，包含过往分析、投委会决议、工作流指令与 house view。每一次生产查询都可审计，保留完整轨迹：执行了哪些步骤、检索了哪些来源、用了哪个模型、推理过程是什么。

规模数据：已构建 1,700 个 Firm Memory，运行超过 100 万条自定义工作流，周活跃用户数达到月活跃用户数的 81%。下一步是把 Memory 从“团队级”扩展到“个人级”，让每位投资人的标准在实践中被捕获，而不只是被描述出来。

对数据科学与 AI Agent 落地的意义

第一，评估层正在成为 Agent 产品的一部分，而不是附属品。 大多数 Agent 项目在“能不能跑通”之后就止步，Terminal X 的做法是把评估本身做成一个 Agent，并且让评估结果反哺知识库。这形成了一个闭环：产出 → 评分 → 失败原因 → 新的工作流指令 / 测试用例 → 更好的产出。在专业服务领域，这个闭环几乎就是护城河。

第二，专业场景的评测指标必须从客户自己的标准里长出来。 54 条 rubric 是从客户机构的实际工作方式里提炼的，而不是拿一个公开 benchmark 套上去。这对数据科学团队的启示是：做垂直 Agent 时，评测集构建的工作量很可能不亚于建模本身，而且必须由领域专家参与。

第三，模型选型正在变成一项持续性的实验工作。 Terminal X 明确说“测试每一个模型，按任务选择”。Sol 负责判断、Luna 负责吞吐，依据是自建评测，而不是厂商榜单。这种“按任务路由 + 持续回归”的工程范式，值得任何准备把多模型接入生产系统的团队参考。

第四，可审计性是金融等强监管行业的前置条件，不是加分项。 完整轨迹（步骤、来源、模型、推理）意味着每一次 Agent 的输出都能被追问。没有这一层，Agent 根本无法进入投委会的决策链路。

我的技术点评

这则案例最值得注意的不是 88.6% 这个数字，而是它的构造方式。

500 条判断、单一“资深人类评审员”作为对照，样本量与标注者数量都相当有限，88.6% vs 86.4% 的 220 个基点差距在这个规模下是否统计显著，原文没有给出置信区间或显著性检验，也没有说明这 500 条判断是如何抽样、由谁标注、标注者之间的一致性如何。换句话说，这是一个产品级验证，而不是研究级结论。作为工程实践它很有说服力，作为模型能力的普适性证据则不足。

同样需要留意的是，这是 OpenAI 发布的自有客户案例，模型对比中的“次优模型”原文未说明是哪一家的哪个模型，对比条件（提示词、上下文长度、是否使用相同 rubric）也未完全披露。30% 的成本优势中，有多少来自模型定价、多少来自 token 效率，原文未说明。

抛开这些，我认为这个案例最有价值的洞察是它对**“记忆债”这个概念的定义。企业知识管理的传统命题是“把文档存下来”，而 Terminal X 指出，真正会流失的是推理过程——为什么否掉这个项目、为什么这个可比公司不合适、为什么这个条款要改。把这类隐含知识编码成 rubric、测试用例和工作流指令，本质上是在为组织构建一个可执行的判断力副本**。

另外，“E