J-Comm:用雅可比引导智能体隐空间通信

ppylox
·10/27/2026·1 阅读

一句话结论

J-Comm 解决的是:两个宽度不同的 LLM 智能体之间,不共享 KV cache、也不要求同宽,仍能把发送方的连续推理线索传给接收方;在 Qwen3-8B 到 Qwen3-4B 的设置下,七项基准平均分最高,文本 token 还少生成 19.2–74.8%。

方法要点

核心两块:GEAR 和 H+J。论文的 arXiv 页面 给出的出发点是:隐空间通信既要有连续的推理过程,也要有一个接口,让外部模型能用上发送方的中间计算结果。

GEAR 是免训练的“几何一致性”重加权。它在每一步不新增参数,而是在已有词嵌入空间里对候选 token 重新加权,让候选 token 与历史推理在几何上更一致;摘要称其单调优化候选 token 的几何共识。直觉是:不让发送方只按原始 logits 走,而是在 embedding 空间里挑“更自洽”的下一步。

H+J 接口给接收方两个互补视图:

  • H 通道:由反馈分布导出的连续输入,给接收方“拿来推理的输入”。
  • J 通道:把发送方中间状态写成“词表索引的雅可比透镜坐标”,给接收方“计算过程中的额外指引”。

接收方用自己的词典重建这些线索,并在 prefill 阶段注入中间层。这样通信不依赖共享 KV cache,也不要求发送方和接收方模型宽度相同。伪代码如下:

# Sender: GEAR 重加权,并导出 H/J 线索
for t in range(max_steps):
    logits = sender.forward(context)
    cand = top_k(logits, k)
    geo = geometric_consensus(sender.embed[cand], context)
    logits[cand] = logits[cand] + lambda_geo * geo
    token = argmax_or_sample(logits)
    context.append(token)

H = continuous_input_from_feedback(sender.feedback_distribution)
J = vocab_indexed_jacobian_lens(sender.intermediate_state)

# Receiver: 用自己的词典重建,并在 prefill 注入中间层
H_r, J_r = receiver.reconstruct(H, J)
receiver.inject_prefill(layers=inject_layers, cues=(H_r, J_r))

关键设计点:H 解决“给什么输入”,J 解决“在接收方内部怎么引导”;两者都在接收方侧重建,避免直接搬 KV cache。这个接口对异构宽度更友好,但代价是发送方要能暴露中间状态与雅可比相关信息。

关键数字

论文给的实验设置是 Qwen3-8B 向 Qwen3-4B 通信,七项基准平均分最高。单项结果如下:

数据集 / 指标 J-Comm 结果 对比基线 提升幅度
MATH500 准确率 94.80% 摘要未给单项基线 未给
GPQA-Diamond 准确率 54.55% 摘要未给单项基线 未给
AIME2024+2025 准确率 73.33% 摘要未给单项基线 未给
ALFWorld 成功率 62.93% 摘要未给单项基线 未给
七项基准平均分 最高 TextMAS +1.29–8.59 个百分点
生成文本 token 更少 TextMAS -19.2–74.8%

读表注意:单项基线没有在摘要/公开页面展开,不能把“最高平均分”误读成每个单项都最高;能确认的是相对 TextMAS 的整体提升和 token 缩减区间。对开发者来说,后一项更实际:通信不是靠堆更多自然语言 token,而是把一部分信息移到隐空间线索里。

局限与前提

第一,方法前提是能拿到发送方的中间状态、反馈分布,以及词表索引的雅可比透镜坐标;如果推理框架只暴露最终文本或 logits,H+J 接口无法直接落地。第二,接收方要能在 prefill 阶段向中间层注入线索,并且要用自己的词典重建;这要求对模型前向过程有改造权限。第三,摘要只报告了 Qwen3-8B 到 Qwen3-4B 的一组通信结果,跨模型家族、跨更大宽度差、跨多发送方场景是否稳定,公开页面没有给出。第四,作者自述局限在摘要中未见;失败案例也没有展开。第五,GEAR 的“单调优化几何共识”是方法描述,不是对所有任务的性能保证;对需要严格符号推理或外部工具调用的任务,隐空间线索是否足够,需要实测。

适用场景可以谨慎看成:多智能体/多模型协作中,发送方和接收方宽度不同,且工程上能改前向、能读中间层;不适合只能通过 API 调用的闭源模型链路。对延迟和显存的影响,公开摘要没有给数字,不能据此判断生产可用性。

能不能用

公开的 arXiv 页面 与 HTML 全文 未见代码、权重或复现脚本链接;因此目前不能确认开源。要本地复现,至少需要:Qwen3-8B 与 Qwen3-4B 两类模型权重、可读取隐藏状态/反馈分布/雅可比信息的推理代码、接收方中间层注入 hook,以及能跑 MATH500、GPQA-Diamond、AIME2024+2025、ALFWorld 等基准的评测管线。由于不需要共享 KV cache、不要求相同模型宽度,工程上少了一个强约束;但“可注入中间层”本身就把纯 API 方案排除了。建议先做小规模对照:固定发送方输出,只开 H、只开 J、H+J 全开,观察收益是否来自 J 通道,以及 token 缩减是否以额外前向计算为代价。

参考来源

相关文章

评论 (0)

暂无评论,来写第一条吧