一、概述：当基准测试开始“自我循环”

arXiv 上新出现的一篇预印本《Artificiality’s First Exam: An LLM-Referenced C-test for Supraintelligence》（作者 Jose Hernandez-Orallo，提交于 2026-09-27，cs.AI，同时交叉 cs.CL 与 cs.LG），直指当前 AI 评测体系的一个结构性难题：

在 AI 发展加速的背景下，任何用人类或当前 AI 系统来校准难度的基准，要么变成循环论证，要么很快就会饱和。 那么，我们该如何评测那些可能比当前机器、甚至比出题人更强的机器？

论文给出的答案方向是逆问题（inverse problems）——即归纳推理问题：给定一组观测和先验知识，难度取决于底层机制的复杂度。作者借用 Levin 的 Kt（Kolmogorov 复杂度的一个可计算变体）为这种难度设定理论上的上界：它同时在“机制的最简表示编码”和“运行该机制所需时间步数的对数”之间做权衡。

在这条技术路线上，此前的测试（例如最初的 C-test）建立在极简通用图灵机（UTM）之上，表示能力极为有限，而且不含任何先验知识。论文的核心主张是：推理型大语言模型本质上也是 UTM——它把人类文化的知识汇编进模型，把 prompt 当作自然语言程序来执行。于是，作者提出了第一个以 LLM 作为表示机器的、基于 Levin 的 Kt 的测试。

论文声称的三个要点：

  • 可以持续生成高难度的新鲜测试条目，难度以**比特为单位的比率标度（ratio scale）**来度量，并且能在任何人类或前沿模型解出它们之前就被生产出来；
  • 作者形式化了该度量，并设计了一条轻量级的生成与认证（generation and certification）流水线，同时探讨了参考机器的能力（power of the reference machine）以及考官与考生之间差距（gap between examiner and examinee）带来的影响；
  • 作者生产出第一批经认证的题目集，并在十二个 LLM 上进行了实测，得到的 agent characteristic curves（智能体特性曲线）随难度上升而下降，一直延伸到一片未知的高难度区域——即所谓的超智能窗口（supra-intelligence window）：这些题目本身是可认证的，却已经超出未来若干代前沿智能的能力范围。

论文为预印本，标注“under review”，共 63 页，代码与数据链接在原文中以 “this https URL” 形式给出（摘要页未展示可直接复制的完整地址）。

二、关键技术点

1. 从 Kolmogorov 复杂度到 Levin 的 Kt

Kolmogorov 复杂度描述生成某个对象所需的最短程序长度，但它不可计算，直接用作评测标尺并不现实。Levin 的 Kt 是可计算变体，其难度上界由两部分共同决定：

  • 描述底层机制的最简表示编码长度；
  • 运行该机制所需时间步数的对数。

也就是说，题目难度不再是“看起来难不难”的主观判断，而是可以落到一个理论可界定、且随机制复杂度增长的量上。这是论文试图摆脱“人肉校准难度”这一循环的根基。

2. 把参考机从极简 UTM 换成 LLM

这是论文与既有 C-test 最关键的差异。传统 C-test 的参考机是表示能力受限、无先验知识的极简通用图灵机；而在本工作中，LLM 充当参考机（representational machine），它以 prompt 作为自然语言程序，并继承了预训练中沉淀的人类文化知识。

作者明确讨论了由此带来的两个变量：

  • **参考机器的能力（power of the reference machine）**如何影响难度标定；
  • 考官与考生之间的差距——当出题方与应试方在能力上拉开距离时，评测的含义会发生什么变化。

3. 生成 + 认证的流水线

论文并不只是提出一个度量，而是配套了一条轻量级的生成与认证流水线，用于产出“新鲜”的题目，并把难度标注在比特尺度上。所谓“认证”，是指题目在被任何人类或当前前沿模型解出之前，其难度已经可以被量化和确认——这正是“超智能窗口”得以成立的前提。

需要说明的是，流水线的具体实现细节、认证的判定程序，摘要与论文页面均未展开说明。

4. 实测：十二个 LLM 与智能体特性曲线

作者将首批认证题目组成测验集，在十二个 LLM 上做了实验，得到随难度单调下降的 agent characteristic curves。具体是哪十二个模型、曲线在各难度区间的具体数值，原文页面未说明。

三、对数据科学与 AI Agent 落地的意义

第一，评测的“保鲜期”问题终于被当作一等问题来处理。 在数据科学实践中，我们早已习惯了静态测试集在几个月内失效：新模型上市之时，往往就是榜单饱和之日。这篇论文提出的不是又一个榜单，而是一条可以持续生成高难度新题的机制，其难度标尺独立于“当前谁最强”。对需要长期跟踪模型能力的团队来说，这种“可再生产难度”的思路比固定的 eval set 更值得借鉴。

第二，AI Agent 的评测尤其需要这种思路。 Agent 的能力边界往往体现在多步推理、机制反推、程序性理解等场景中——这些恰好是逆问题式的任务。如果难度可以用机制复杂度而非人工标注来刻画，那么 Agent 评测就有机会摆脱“任务设计者的想象力上限”。论文中“考官与考生差距”的分析，对把 LLM 当作自动化评估器（LLM-as-a-judge）的团队也是一个提醒：当考官弱于考生时，评测结果的有效性本身就是待检验的对象。

第三，可借鉴的方法论是“把评测对象的生成也纳入评测体系”。 认证流水线意味着测试条目的难度先被证明、再被使用，而不是先使用、事后才统计通过率。这种顺序在工程上更贵，但在面向未来模型时更具鲁棒性。

四、我的技术点评

这篇论文的野心和它的问题都很清楚。

值得肯定的是问题意识。 “用人类校准难的基准会循环，用当前模型校准也会饱和”这一判断几乎没有争议，而把 Levin 的 Kt 作为难度的理论锚点、把 LLM 作为表示机器，确实是既有 C-test 传统的一次自然延伸。把难度放到比特量级的比率标度上，也让“难度”第一次具备了可比较、可累加的计量属性，而不是分数或通过率的同义反复。

但需要警惕的是自指风险。 如果 LLM 同时充当题目的表示机器、难度的估计器、以及认证流程中的关键环节，那么“这些题目超出了前沿模型的能力”这一结论，其可信度取决于认证环节在多大程度上独立于被评测的模型。论文提到了“参考机器能力的影响”，说明作者对此有意识；但具体的独立性保障机制，目前公开信息中未说明，这很可能是 63 页正文里最需要仔细读的部分。

另一个开放问题是“超智能窗口”的经验证据。 摘要中的表述是这些题目“可认证，但已超出未来若干代前沿智能”——这里“超出”依据的是当前十二个模型的表现，还是某种理论外推，原文未说明。如果是前者，那它证明的是“当前模型不会做”，而非“未来若干代也不会做”，两者之间的跳跃需要额外的论证。

最后是实用的取舍。 生成与认证流水线被称为“轻量级”，但 63 页的体量和“认证”这一动作本身就暗示了它不可能像跑一遍 MMLU 那样廉价。对于日常迭代节奏很快的工程团队，这套方法的现实价值可能不在于直接采用，而在于提供一个校准直觉的参照系：当你的评测集被新模型刷爆时，你会知道该往哪个方向去造更难的题——往机制复杂度走，而不是往题目数量走。

总体而言，这是一篇在评测理论层面值得跟踪的工作；它给出的不是答案，而是一套关于“如何为尚未存在的智能出题”的框架。

五、原文链接

  • arXiv 摘要页：https://arxiv.org/abs/2610.14005
  • DOI：https://doi.org/10.48550/arXiv.2610.14005
  • 标题：Artificiality’s First Exam: An LLM-Referenced C-test for Supraintelligence
  • 作者：Jose Hernandez-Orallo
  • 提交时间：2026-09-27（v1）；标注为 Preprint, under review，63 页
  • 代码与数据：原文以 “this https URL” 形式给出，具体地址未在摘要页展示