一句话结论
这篇论文把“AI 审稿人靠不靠谱”从主观讨论变成一个可打分的审计任务：往真实论文里注入四类可定位错误，用分类别检出率和干净副本上的误报率两把尺子，把 12 套评审系统放在同一张考卷上比较，顺带回答“给评审器加检索、加计算工具到底有没有用”。结论是：换模型的收益远大于加脚手架，工具只在补模型自身短板时才有增益。
方法要点
语料与错误注入。 作者取两个语料，各 15 篇近期 arXiv 预印本，一个天体物理、一个机器学习。每篇论文被注入四类错误：一般问题、数学、数值、引用，每类分三个严重级别，合计 357 个错误。关键在于“可定位”——错误有明确位置与判定标准，评审器说“这段有问题”才算命中，避免用文风相似度冒充检出。
对照设计。 每篇论文同时保留干净副本，评审器在干净副本上的任何标记都计入误报。这样检出率与误报率成对出现，防止“全部标红”式的高分。
被测系统。 共 12 套：6 套单 LLM 评审器、2 套 Claude Code 配置、3 个公开可用的评审器，以及作者自研的多智能体评审器 Skepthical。Skepthical 的分工是：引用类主张回检被引论文原文，数学主张交给计算机代数系统，数值主张交给实际执行的代码。
# 基准构建与审计流程（依据论文方法描述整理的伪代码）
ERROR_TYPES = ["一般问题", "数学", "数值", "引用"]
SEVERITIES = ["轻", "中", "重"]
def build(corpus):
for paper in corpus: # 每个语料 15 篇近期预印本
for etype in ERROR_TYPES:
for sev in SEVERITIES:
yield inject(paper, etype, sev) # 注入带位置标注的错误
yield clean_copy(paper) # 干净副本，用于测误报
def audit(reviewer, samples):
hit, fp, n_err, n_clean = 0, 0, 0, 0
for s in samples:
flags = reviewer(s.text)
if s.is_injected:
n_err += 1
hit += int(overlaps(flags, s.error_span)) # 必须定位到注入处
else:
n_clean += 1
fp += int(len(flags) > 0) # 干净论文上的任何标记
return hit / n_err, fp / n_clean # 按错误类型 × 严重级别分别统计
要点是：命中的判定绑定位置，误报的判定绑定干净副本，两者不可互相抵消。
关键数字
| 数据集 | 指标 | 对比基线 | 结果 |
|---|---|---|---|
| 天体物理 15 篇 + 机器学习 15 篇，共 357 个注入错误 | 总检出率 | 同一提示下的三个前沿 LLM | 相差约 50 个百分点 |
| 同上，干净副本 | 误报率 | 多数被测系统 | 低于 10% |
| 天体物理语料 | 数学、数值检出率 | 单次 Claude 调用 vs Claude Code | Claude Code 更高（原文未给具体数值） |
| 天体物理语料 | 引用错误检出率 | Skepthical vs 其余全部系统 | 大幅最高（原文未给具体数值） |
| 机器学习语料 | 引用错误检出率 | Skepthical vs 最佳单 LLM | 统计上无差别，领先消失 |
三条解读：
- 模型是第一变量。 提示词相同、只换模型，总检出率就能拉开约 50 个百分点。先选模型，再谈提示工程与工具链，顺序反了就是在给弱模型做无用装修。
- 工具收益是“补短板”型的。 Claude Code 在天体物理的数学与数值上超过单次调用，因为这两类判断需要真的去算；强制引用检索让 Skepthical 的引用错误检出率远超其他系统，因为模型无法凭记忆确认一篇具体文献的表述。
- 补短板的前提是模型确实短。 到了机器学习语料，模型对文献更熟，Skepthical 的引用优势在统计上消失。工具不是无条件加分项，它加的是“模型自己给不出的那部分信息”。
误报侧同样值得看：多数系统误报率低于 10%，但会随提示、模型、脚手架变化，数学标记是误报的主要来源——这与数学判断容易被形式化触发、却难以对齐到真实错误有关。
局限与前提
- 领域窄。 只有天体物理与机器学习两个语料，各 15 篇。换到生物医学、社会科学，引用检索的增益可能完全不同，作者也只在 ML 上观察到了优势消失这一现象。
- 只测“客观、可定位”的错误。 四类错误都有明确判定标准；审稿中真正分歧最大的部分——新颖性判断、实验设计是否充分、结论是否过度外推——不在这个基准的测量范围内。
- 优势不稳定。 Skepthical 的引用领先在 ML 上不成立，说明该结论依赖领域，不能当作通用结论宣传。
- 误报依赖配置。 误报率低于 10% 是“多数系统”的总体描述，不是每套系统的保证；换提示或换脚手架，误报会漂移，数学类尤甚。
- 细粒度数值披露有限。 摘要层面只给出了模型间约 50 个百分点、误报低于 10% 这类聚合结论，逐类别、逐严重级别的具体分数需要看全文表格。
能不能用
可获取的部分： 论文声明将评测流水线、注入错误、以及裁决日志作为基准发布，这意味着你可以直接拿到“哪些位置被注入了什么错误、人工怎么裁决的”，用来给自己的评审器打分，而不必从零造错。
未提供的部分： 论文页面未见代码仓库地址，也未提及任何模型权重。Skepthical 本身是多智能体系统，依赖外部模型、文献检索、计算机代数与代码执行，不是一个可下载的权重文件。
本地复现需要准备：
# 复现所需条件清单（按论文描述整理）
# 1) 前沿 LLM 的 API 访问：12 套系统里 6 套是单模型评审器
# 2) Claude Code 运行环境：2 套配置属于此类
# 3) 被引论文的可检索全文或元数据：引用类主张要回检原文
# 4) 符号计算环境：数学主张走计算机代数
# 5) 代码执行沙箱：数值主张要真的跑一遍
# 6) 裁决环节：把评审器标记与注入位置对齐，统计检出率与误报率
判断是否值得投入：如果你在做生产环境的 LLM 审稿或论文质检，这套基准的价值在于它给出了“先比模型、再比工具”的评估顺序，以及一个不能自欺的误报口径；如果你想要一个开箱即用的评审模型，这里没有。成本上的现实约束是 357 个注入错误要在 12 套系统上各跑一遍，再叠加检索与代码执行，属于需要 API 预算与人工裁决的评测工程，不是一条命令能跑完的实验。