一句话结论
这篇论文解决的是「推理档位难以分辨」的问题：它用形式语法生成分层测试数据，让 GPT-5.5 基础档与 Pro 各推理档在同一套探针上给出可比较的接受率读数，而不是只看最终任务成功率。
方法要点
核心思路不是拿自然语言题库去考模型，而是用形式语法构造一个计算能力阶梯。每一层数据比下一层需要更强的计算能力，并且是由语法规则新生成的数据，而不是从既有题库里抽样。评测时，把同一层数据分别交给不同推理档位，统计模型对测试数据的接受率；接受率越高，说明该档位越能处理这一层的形式结构。作者还在同一批数据上收集人类响应，比较模型与人类的分歧如何随测试时计算变化。
关键设计包括：
- 分层生成：按形式语法的计算能力层级生成测试数据，层级递进。
- 固定探针：同一套数据跑 GPT-5.5、Pro-Medium、Pro-High、Pro-XHigh，减少题目差异带来的干扰。
- 双读数：主指标是接受率；辅助观察是模型回答与人类回答的一致或分歧。
伪代码（非原文代码）：
levels = ["GPT-5.5", "Pro-Medium", "Pro-High", "Pro-XHigh"]
reported = {"GPT-5.5": "16%", "Pro-Medium": "40%",
"Pro-High": "43%", "Pro-XHigh": "52%"}
def run_grammar_lens(grammar_levels, model):
rows = []
for level in grammar_levels:
data = generate_by_formal_grammar(level) # 按计算能力分层生成
response = model.respond(data)
rows.append(acceptance_score(data, response))
return rows
for name in levels:
print(name, run_grammar_lens(grammar_levels, load_model(name)))
print("原文接受率:", reported[name])
需要说明的是，摘要没有展开语法族、接受判定规则和样本量。复现时不能只照上面的伪代码补细节，必须回到 ar5iv 全文 查具体生成与评分规则。
关键数字
| 数据集 | 指标 | 对比基线 | 提升幅度（原文接受率变化） |
|---|---|---|---|
| 语法透镜分层测试数据 | 测试数据接受率 | GPT-5.5：16% | Pro-Medium：40%（16%→40%） |
| 同上 | 同上 | GPT-5.5：16% | Pro-High：43%（16%→43%） |
| 同上 | 同上 | GPT-5.5：16% | Pro-XHigh：52%（16%→52%） |
读表时要注意：这是接受率，不是准确率；基线是基础档 GPT-5.5，Pro 各档是在同一数据上的读数。原文没有给提升百分比，因此表中只列接受率变化，不额外换算。作者用这组读数说明基准能辨别细粒度推理档位：基础档到 Pro-Medium 的接受率变化最明显，Pro-Medium 到 Pro-High 的差距较小，Pro-XHigh 最高。另一个定性结论是，随着测试时计算增加，模型回答与人类回答的分歧增大；作者提出，这可能成为更强语言模型的普遍特征，并可能带来能力与对齐之间的潜在冲突。
局限与前提
第一，指标效度有边界。接受率衡量的是模型对形式语法分层数据的处理情况，不等同于自然语言任务正确率，也不能直接推成真实场景能力。第二，统计信息不足。摘要没有给样本量、置信区间和显著性；相邻档位差距不大时，单看百分数不够稳。第三，人类对照的结论是观察，不是因果解释。模型与人类分歧增大，作者只说「可能」是更强模型的特征，并可能带来能力与对齐冲突，没有在摘要中给出机制解释。第四，适用场景是同一家族不同推理档位的相对比较，不适合跨模型绝对排名；复现时要控制接口版本、提示和评分规则。第五，摘要未列失败案例，全文是否给出错误类型，需要查 ar5iv 全文；作者也没有在摘要中列出具体不足。
能不能用
在 arXiv 摘要页 与元数据中，未见代码仓库、数据或权重链接；能复现的主要是评测管线，不是模型权重。若团队已有 GPT-5.5 各推理档的接口权限，可以按论文思路自建语法分层数据、固定调用参数、统计接受率，并额外收集人类对照。复现条件包括：接口访问、语法生成器、评分脚本、人类响应样本；成本与延迟原文未给，无法估算。若只想判断「加推理档位值不值」，这个基准的优点是读数直接、可重复；缺点是它测的是形式语法接受率，不覆盖真实任务。建议把它当推理档位的分辨工具，而不是通用能力榜。