一句话结论
DecisionPivot 解决的是：决策模型只看单题准确率，无法证明它在受控变化下仍能正确决策、也无法证明它给出的置信可靠；该基准用对比组、概率排序、校准和选择性覆盖，把聚合分数掩盖的决策失败拆出来。
方法要点
论文面向大语言模型系统中的路由、护栏、输出校验等决策模型。核心设计不是再堆一个总榜，而是把评测拆成两条赛道：
- 核心赛道：包含 48 个任务、40,033 条样本中的 7,800 条，来自 13 个生成任务族，按“对比组”组织。每组内成员只在一个关键细节上变化，答案由独立实现的求解器计算并校验。
- 参考赛道：包含 32,233 条样本，来自 35 个公开测试集，保留各测试集原始评测指标，用来补充真实分布上的表现。
评测时同时看单题准确率、对比组准确率、概率排序、校准和选择性覆盖。对比组的意义是：模型不仅要答对单题，还要在成对样本中把正例排在负例之上；概率排序高也不等于两题都答对，论文正是用这个缺口定位“会排序但不会决策”的模型。
伪代码可以概括为：
# DecisionPivot 评测伪代码（按论文公开描述组织）
def evaluate(model, core_track, reference_track, protocol):
preds_core = [model.predict(x, **protocol) for x in core_track]
preds_ref = [model.predict(x, **protocol) for x in reference_track]
item_acc = accuracy(preds_core + preds_ref)
group_acc = contrast_group_accuracy(preds_core)
order = probability_ordering(preds_core)
calib = calibration(preds_core + preds_ref)
cover = selective_coverage(preds_core + preds_ref)
return {
"item_acc": item_acc,
"contrast_group_acc": group_acc,
"probability_ordering": order,
"calibration": calib,
"selective_coverage": cover,
}
论文用文档化的、模型特定的协议评测了 40 个决策模型和 14 个通用模型，避免把所有模型塞进同一套提示模板后直接横比。
关键数字
| 数据集 / 子集 | 指标 | 对比基线 | 原文结果 |
|---|---|---|---|
| 参考赛道上的两个 27B 模型 | 对比组准确率 | 参考赛道分数仅差 2.6 分 | 70.1% 对 44.2% |
| 2,400 个二元对比对，Perplexity Decider | 概率排序正确率 / 两题都答对率 | 概率排序 | 92.3% 对 74.1% |
| 1,296 条子集，GLM-5.3 | 对比组准确率 | 最低推理强度 81.5% | 更高推理设置 93.5% |
第一行说明聚合分数接近不代表决策能力接近；第二行说明“会排序”与“决策正确”之间存在缺口；第三行说明推理强度会显著改变对比组准确率，评测必须固定协议。
局限与前提
适用场景是决策模型的诊断性评测，尤其是路由、护栏、输出校验这类需要稳定判断的环节。它不适合替代业务端到端指标，也不适合只追求一个总分的排行榜式比较。
论文明确暴露的失败信号是：Perplexity Decider 在 2,400 个二元对比对中排序正确率达到 92.3%，但两题都答对只有 74.1%。这意味着概率排序不能直接当作决策正确性。另一个前提是推理设置敏感：GLM-5.3 在 1,296 条子集上，更高推理设置达到 93.5%，最低推理强度为 81.5%，跨设置比较会失真。
按信息源给出的范围，它覆盖 48 个任务、七个决策角色；超出该范围的场景没有结论。核心赛道的对比组依赖生成任务族与独立求解器校验，参考赛道依赖 35 个公开测试集及原始指标，因此复现时要保留这些前提，不能只抽少量样本就宣称复现论文结论。
能不能用
信息源未给出作者开源代码与权重的明确链接；arXiv 页面提供 PDF、HTML 和 TeX，全文 HTML可读，但“能否一键复现”不能从现有信息确认。
本地复现的门槛主要在评测工程：需要按 13 个生成任务族构造核心赛道对比组，并用独立求解器校验答案；接入 35 个公开测试集并保留原始指标；对 40 个决策模型和 14 个通用模型按模型特定协议推理，记录概率输出、校准与选择性覆盖。若只想做小规模验证，可以先复刻“对比组准确率 + 概率排序 + 两题都答对率”三项，但不要把它等同于论文全量结果。
值不值得用：如果你正在选路由、护栏或输出校验模型，DecisionPivot 的评测视角值得借鉴，尤其是对比组和置信可靠性；如果你需要现成开源榜单或开箱即用的评测仓库，目前信息不足，需要先确认代码与权重是否可用。