把工具智能体轨迹蒸馏成无规划器工作流

ppylox
·11/12/2026·1 阅读

1. 一句话结论

ReTrace 解决的是重复执行同一套标准作业流程时,每一步都调用大语言模型选动作、从而抬高延迟与成本的问题:它用少量带推理说明的智能体运行日志,生成由代码而非大语言模型选择下一步、并可编译到不同编排平台的可复用工作流,参考 arXiv 摘要页。

2. 方法要点

核心观察很具体:智能体每次调用工具时写下的推理说明,往往包含“为什么做这一步”;只看工具调用本身,丢掉了触发条件。ReTrace 从这里抽取每一步背后的条件,再把多次运行中的条件合并成一份紧凑规则文档,最后生成可执行工作流。只有最后生成阶段依赖目标平台,因此同一份规则文档可以面向不同编排平台编译。

方法链路可以概括为:

def retrace(sop, logged_runs, target_platform):
    conditions = []
    for run in logged_runs:
        for call in run.tool_calls:
            why = call.reasoning          # 工具调用附带的推理说明
            cond = extract_condition(why, call.tool_call)
            conditions.append((call.tool_call, cond))
    rule_doc = merge_conditions(conditions)  # 跨运行合并为紧凑规则
    workflow = compile_workflow(rule_doc, target_platform)
    return workflow

关键设计有三点。第一,输入不只有 SOP,还需要少量已经记录下来的智能体运行轨迹;第二,条件来自推理说明与工具调用的配对,而不是只统计工具序列;第三,规则文档与平台编译解耦,使工作流可迁移到不同编排环境。论文还报告了修复机制:对训练中的失败样本做三轮修复,可以提升部分工作流表现。

3. 关键数字

数据集 指标 对比基线 提升幅度或取舍
生产平台 79 个流程 完成率 智能体 96.8% ReTrace 93.8%;每任务成本低 24%
τ²-Bench 任务成功率 智能体 80.6% ReTrace 75.8%
τ²-Bench 运行时间 智能体 170s ReTrace 1.3s
τ²-Bench,k=2 工作流 任务成功率,三轮修复后 修复前 66.7% 81.2%
SOP-Bench 八个流程 任务成功率,无修复 少样本生成 83.6% ReTrace 80.6%
SOP-Bench 八个流程 任务成功率,修复后 智能体 85.5% ReTrace 87.8%
SOP-Bench 八个流程 每任务耗时 智能体 46.6s ReTrace 0.40s

这组数字说明 ReTrace 的定位不是“全面超过智能体”,而是用一定成功率取舍换成本和延迟。生产平台上完成率从 96.8% 到 93.8%,但每任务成本低 24%;τ²-Bench 上成功率从 80.6% 到 75.8%,运行时间从 170s 到 1.3s。SOP-Bench 上,无修复版本低于少样本生成,修复后达到 87.8%,高于智能体的 85.5%,同时每任务耗时为 0.40s,对比 46.6s。

4. 局限与前提

适用场景很明确:同一套 SOP 在新输入上反复执行,且延迟、成本随调用次数放大的业务流程。它不是任意开放式任务的通用替代品,也不适合缺少历史运行记录的冷启动场景。

前提条件也硬。方法依赖每次工具调用附带的推理说明;论文明确强调,只看工具调用不够。若日志里缺少“为什么做这一步”的说明,条件抽取会失去关键来源。修复阶段还需要标注训练失败样本:SOP-Bench 上无修复版本为 80.6%,低于少样本生成的 83.6%;利用标注失败做修复后才到 87.8%。因此“有日志”还不够,失败样本和修复轮次会影响最终效果。

论文报告的不足信号也直接:生产平台完成率为 93.8%,低于智能体的 96.8%;τ²-Bench 任务成功率为 75.8%,低于智能体的 80.6%。这说明在需要更高成功率的流程里,不能只看成本与延迟收益,必须按业务容错度做 A/B 验证。

5. 能不能用

若你的业务是重复 SOP、调用量大、对每步延迟敏感,ReTrace 的思路值得试用;若任务步骤变化大、成功率高优先级压过成本,则应保留智能体或做混合方案。

是否开源代码与权重:提供的信息源未给出代码仓库、权重或发布许可说明,因此不能据此文判断可直接下载复现。本地复现至少需要:一份自然语言 SOP;若干条已记录的智能体运行日志,包含工具调用与推理说明;目标编排平台的编译与执行环境;用于修复阶段的失败标注。生产平台 79 个流程的结果来自作者生产环境,外部复现需要用自有流程和日志重建同类评测。

参考来源

相关文章