多视图蒸馏把技能记忆内化进智能体策略

ppylox
·11/5/2026·3 阅读

一句话结论

这篇论文解决的是:技能记忆作为文本提示能增强强化学习智能体,但把智能体自己生成的记忆直接做同策略自蒸馏时,噪声、功能纠缠、冗余和冲突会让有限训练预算下的知识内化变差;MDSKILL 用多视图筛选与蒸馏把技能记忆整合进共享策略,在 ALFWorld 与 WebShop 上把当前最优性能最多推高 7.1% 和 8.1%,且不增加额外计算开销。

方法要点

核心思路不是再引入一个更强外部教师,而是把“技能记忆”先拆开,再蒸馏回同一个策略。论文指出,技能记忆以文本提示形式记录过去经验,可补强强化学习;同策略自蒸馏则用技能引导轨迹提供更密集的监督。问题在于,自生成记忆里常有噪声监督,且知识在功能上纠缠、冗余或冲突,直接蒸馏很难学干净。训练预算有限时,这种直接蒸馏可能拖累内化,甚至让性能退化。

MDSKILL 的关键设计有两层。第一层是把技能记忆组织成三个互补功能视图:状态落地、动作规划、执行控制。每个视图关注不同功能,避免把所有经验混在一个提示里。第二层是用动态指标挑选高质量技能,构造“视图特定推理分支”和“集成推理分支”。随后,同策略自蒸馏在这些分支之间迁移、整合互补经验,把技能引导轨迹中的知识收进共享策略。这样做的直接收益是:不需要额外计算开销,也不依赖更强外部教师模型。

按论文摘要与全文的方法描述,可把训练流程简化成下面伪代码。注意这不是原论文逐行实现,动态指标的具体定义、损失函数形式和分支构造细节需看全文。

输入:基础策略 πθ,技能记忆库 M,任务分布 T
视图 V = {状态落地, 动作规划, 执行控制}

for 每轮训练:
    采样任务 x ~ T
    for v in V:
        M_v = 用动态指标从 M 中选与视图 v 匹配的高质量技能
        τ_v = 用 πθ 在技能提示 M_v 下采样技能引导轨迹

    τ_int = 由 V 的分支构造集成推理分支
    L = 蒸馏损失(τ_V, τ_int, πθ)   # 将互补经验整合回共享策略
    θ ← θ - η∇L

返回 πθ

从工程角度看,MDSKILL 把“记忆质量”和“蒸馏目标”拆成了两个可控环节:先用视图和动态指标筛记忆,再让多个分支提供互补监督。它要验证的不是“记忆越多越好”,而是“筛选后的记忆能否在有限预算内被策略吸收”。

关键数字

论文摘要报告的是相对当前最优性能的提升上限,没有在摘要中展开绝对分数和指标名。下表只写原文给出的提升幅度,不补造绝对值。

数据集 指标 对比基线 提升幅度
ALFWorld 当前最优性能(摘要未展开指标名) 不依赖更强外部教师模型的强化学习、技能增强、自蒸馏基线 最高 7.1%
WebShop 当前最优性能(摘要未展开指标名) 同上 最高 8.1%

这两个数字对应的条件是“不增加额外计算开销”。论文称在多个智能体基准上评测,摘要点名 ALFWorld 与 WebShop;其他基准名称、绝对分数、方差和具体指标定义没有在给定摘要中列出,因此不在这里补写。消融与演化分析在摘要中只作为有效性验证被提及,没有给出可引用的细分数值。

局限

相关文章