Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking
论文概述
近日，一篇来自 arXiv 的新论文（arXiv:2607.09665）系统性地揭示了 LLM 基准测试中长期被忽视的一个问题：提示包装器（Prompt Wrapper）的微小格式差异，如何足以改变模型打分、甚至翻转排行榜结论。作者 Deep Pankajbhai Mehta 在论文中提出并验证了两种互补指标：格式敏感度指数（FSI）——衡量因包装器选择引起的准确率波动范围，以及解析性敏感度指数（PSI）——衡量答案可解析性的相应波动范围。该研究基于 140,000 次 OpenRouter 生成实验，覆盖 7 个 QA 任务、5 类包装器家族以及 4 个参数规模从 7B 到 72B 的指令微调模型，实验规模和数据量均较为充分。
关键技术点
FSI 与 PSI 的定义
FSI 是同一任务、同一模型下由不同格式包装器引发的准确率最大值与最小值之差；PSI 则对应答案解析成功率的类似范围。两者分别从“性能”和“可解析性”两个维度刻画同一提示在不同格式化层包装下的稳定性。Token 控制协议
为了排除输入长度等因素的干扰，实验在不同包装器下严格控制 token 数量（通过填充或截断），确保仅格式结构差异影响输出。关键发现
- 不同模型的平均 FSI 差异超过 30 倍，且该差异主要源于模式合规失败（compliance failures）——即模型未能按照包装器指定的输出格式生成答案。
- 固定效应回归模型表明，即使在控制了任务、模型、包装器等因素后，解析性（parseability）依然是准确率的强预测因子。换言之，格式感知能力直接决定模型在 benchmark 上的排名。
统计脆弱性
论文指出，当前大多数 benchmark 仅报告单一包装器下的准确率，完全忽略了包装器方差。这种报告方式在统计上是脆弱的（statistically fragile），容易产生误导性结论。
对数据科学与 AI Agent 落地的意义
对于数据科学家和从事 AI Agent 系统开发的工程师而言，该研究具有直接的应用价值：
- Agent 输出格式一致性：Agent 任务常依赖结构化输出（JSON、XML、Markdown 表格等）。如果模型对提示包装器的微小变化极其敏感，则在实际部署中可能出现频繁的解析失败或性能波动，影响系统可靠性。
- Benchmark 设计改进：建议未来 benchmark 应附带包装器方差分析，或者至少报告多个包装器下的准确率范围，而非单一数值。这也意味着此前许多公开排行榜的对比结论需要重新审视。
- 模型选择决策：在选择用于结构化输出场景的模型时，FSI 和 PSI 可作为额外参考指标——低 FSI 的模型对格式变化更鲁棒，更适合生产环境。
我的技术点评
这项工作的核心贡献在于将“提示格式”从噪声变量升格为受控变量，并给出了可量化的评估工具。从工程实践看，这解释了为什么同一个模型在开发环境与生产环境的提示格式稍有不同时，表现会大相径庭——不是因为模型变笨了，而是格式敏感度没有被纳入考虑。
文中的“30 倍平均 FSI 差异”尤其值得关注，这意味着某些模型对格式的鲁棒性极差。结合固定效应回归结果，我认为解析性作为准确率的强预测因子，本质上是模型指令遵循能力（instruction following）在格式维度的投影。因此，提升模型的格式鲁棒性，可能需要从训练数据中的格式多样性入手，或者在后处理层增加格式验证环节。
有一点原文未说明：包装器家族的具体设计细节（例如是否包含角色提示、分隔符模式等），以及不同任务的 FSI/PSI 分布情况。如果作者后续公开代码和数据集，将便于社区复现并迁移到更多任务上。
总体而言，这篇论文为 LLM 评估引入了一个必要的维度，并为 Agent 系统中提示模板的选用提供了定量依据。我推荐所有涉及 LLM 基准测试和结构化输出的研究者和工程师详细阅读。
