一句话结论
CLE 把“智能体能不能从经验里变强”拆成可评分的五级职业任务阶梯：必须过当前级才能解锁下一级，结果前沿模型虽有提升，但最佳系统只通过 47.7% 的层级，仅 23.3% 的任务五级全通。
方法要点
论文的核心不是再做一个单题问答榜，而是测“经验迁移”。据论文摘要页，CLE 由 50 余位领域专家构建，包含 120 个人工撰写任务，每个任务组织成五级阶梯，共 600 个层级，覆盖 89 个职业角色、12 个职业领域。智能体通过一级后才会进入下一级，后续层级会用到前面积累的经验。
评测分两种设置：单次提交；失败后给诊断反馈，并允许一次修订。每个提交由评测代理按人工撰写的评分细则打分。这样做的关键设计是把“完成率”与“经验利用”分开看：单次提交测当前能力，反馈加修订测能不能把错误转成下一次改进。
伪代码可以压缩成下面这样：
for task in CLE.tasks: # 120 个任务
history = []
for level in task.levels: # 每任务五级阶梯
out = agent.solve(task, level, history)
score, feedback = judge(out, task.rubric[level])
if score < PASS:
out = agent.revise(task, level, history, feedback) # 仅一次修订
score, feedback = judge(out, task.rubric[level])
if score < PASS:
break # 未过当前级，不能解锁下一级
history.append((level, out, feedback))
record(task, passed_levels=history)
关键点在于：反馈只在失败后出现，且只给一次修订机会；如果反馈不可操作，或者智能体不能把反馈落到下一版提交里，就会卡在当前层级。这比“同一道题多采样几次”更接近长程经验学习，但也更依赖评分细则和反馈质量。
关键数字
| 数据集 / 设置 | 指标 | 对比基线 | 结果或提升幅度 |
|---|---|---|---|
| CLE，17 种 harness-模型配置 | 层级完成率中位数 | 单次提交 | 反馈加一次修订提升 5.3 个百分点 |
| CLE，最佳系统 | 层级通过率 | 摘要未给同口径基线 | 47.7% |
| CLE，最佳系统 | 五级全通任务率 | 摘要未给同口径基线 | 23.3% |
| CLE 构建规模 | 任务与层级数 | — | 120 个任务、600 个层级；89 个角色、12 个领域 |
这组数字的含义很直接：反馈和修订确实有用，中位提升 5.3 个百分点；但“有用”不等于“会持续学习”。最佳系统也只能过 47.7% 的层级，五级全通任务只有 23.3%，说明多数任务会在某个层级断掉。作者在摘要中也明确承认，现有前沿模型从经验中持续学习仍然困难。
局限与前提
第一，CLE 测的是一次失败后的反馈加一次修订，不是多轮、跨任务的长期学习。它能暴露“会不会用反馈”，但不能完整代表真实工作里连续数天、跨项目的经验积累。
第二，评分依赖人工撰写 rubric 和评测代理。rubric 写得越细，越容易稳定复现；但也可能把“会按格式改”误当成“会迁移经验”。信息源没有给出逐案失败清单，从 23.3% 的全通率看，大多数失败发生在阶梯中断，而不是单个层级的小分差。
第三，任务由领域专家撰写，覆盖 12 个职业领域、89 个角色，但仍是基准，不是生产环境。它适合比较 harness 与模型组合的长程经验利用能力，不适合直接当作产品能力证明。若要做后训练，摘要也提到该数据集可用于后训练，但信息源没有给出训练配方和权重细节。
适用场景：做智能体记忆、经验学习、长程任务评测的团队；需要判断“换 harness 或换模型后，失败反馈是否真的被用上”的开发者。不适用场景：只关心单轮问答准确率，或没有稳定评审流程的团队。
能不能用
arXiv 页面标注了 Project page，但信息源没有展开具体仓库地址；摘要也没有说明权重是否开源。因此不能把它当成“开箱即用”的完整套件。更稳妥的判断是：论文给出了可复现的评测设计，但代码、数据与权重的开放程度需要到项目页确认。
本地复现至少需要：可调用的前沿 LLM、智能体运行框架（harness）、按 rubric 打分的评审代理，以及能跑 17 种 harness-模型配置的预算；如果要严格复现人工评分，还需要领域专家或人工抽检。对多数团队，先选少量任务跑“单次提交 vs 反馈加一次修订”的对照，比一上来铺满 600 个层级更现实。
值不值得用：如果你正在做智能体经验学习，CLE 的阶梯式设计比单题准确率更有诊断价值；如果只是做普通工具调用或单轮任务，收益有限。它的最大提醒是：反馈加修订只带来 5.3 个百分点的中位提升，离“越做越会”还有明显距离。