背景:瓶颈从算力挪到了等待
协作式代码生成、深度研究、社会模拟这三类应用有共同形状:任务被拆成子任务,子任务分给不同智能体,智能体之间通过工具调用与结果汇聚串起来。一次用户请求在系统里放大成一串有依赖的模型调用,而不是一次调用。
性能指标的口径因此要换:单次调用的首字延迟说明不了问题,真正决定体验的是任务完成时间、轮次时延,以及在给定服务目标下能撑住多少并发智能体。
按键值缓存(KV Cache)的生命周期看,浪费来自三个方向:
- 时间维度:智能体等外部工具返回时,缓存仍占着显存;直接丢弃,下一轮又要重算。
- 空间维度:多个智能体抢同一块显存,非关键路径任务可能把关键路径任务的缓存挤掉。
- 共享维度:多个智能体收到相同内容,但私有历史与内容位置不同,常规前缀缓存复不上。
前两个是调度问题,第三个是数据表示问题。放在同一个推理引擎里,它们会互相干扰。
该报告来自 AICon 北京站「大模型推理与算力调度实践」专题,完整议程见大会报道。
方案:调度与缓存必须一起改
TokenCake 走「给推理系统补应用语义」的路线:把智能体依赖关系、工具调用事件、运行状态上报给调度器,让调度器知道谁在关键路径上、谁在等工具。在此之上做三件事——按图结构与运行状态定优先级;用动态显存分区保障关键任务推进;在工具调用窗口主动卸载闲置缓存,并在恢复执行前预测式回迁。
TokenDance 走「改数据表示」的路线:针对「各智能体生成结果—集中汇聚—分发共享上下文」这一轮次化协作,保留提示词的逻辑块结构,把兼容请求成组处理以摊薄复用开销;用共享主副本加智能体私有差分存相似缓存;把差分恢复融进缓存传输过程,省掉一次搬运。
为什么不用另外几种做法:
- 只加前缀缓存:前缀缓存要求逐字一致,多智能体场景内容相同、位置和私有历史不同,命中率上不去。
- 直接丢弃等待期缓存:实现最简单,但把代价推给下一轮重算,端到端时延更差。
- 只扩显存或加卡:资源约束被绕开而非被解决,并发规模上来后问题重现。
- 只降并发保时延:用容量换时延,服务目标里的并发指标直接失守。
- 把调度全放在应用编排层:应用层看不到缓存生命周期与显存压力,判断不了「卸载还是保留」。
核心取舍是:调度信息必须进入推理引擎,但只传最小必要字段,不要让应用层替引擎做缓存决策。
实现要点:接入只加一组字段
接入点是应用编排层、推理调度器、缓存管理模块之间的信息交换。配置示意如下,字段按你的编排框架命名,值用占位符,不要照抄常量:
agent_runtime:
report_fields:
- agent_id # 智能体标识
- depends_on # 上游依赖,用于建图
- tool_call_state # running | waiting_tool | ready
- shared_context_id # 共享上下文的逻辑块标识
scheduling:
policy: critical_path_first # 关键路径优先
vram_partition: dynamic # 按优先级重算显存配额
demote_on_waiting_tool: true # 等工具即降级
cache:
offload_on_tool_wait: true
offload_idle_threshold: ${TOOL_P95_LATENCY} # 空闲低于此值不卸载
prefetch_on_resume: true
prefetch_lookahead: ${REPLAY_WINDOW}
diff_store: true
sharing_ratio_floor: ${SHARE_RATIO_FLOOR} # 共享比例低于此值关掉差分
调度侧的核心逻辑可以压成伪代码:
def pick_and_place(agents, free_vram):
for a in agents: # 依赖图算关键路径,等工具者降级
a.priority = (a.on_critical_path, a.state != "waiting_tool")
agents.sort(key=lambda a: a.priority, reverse=True)
for a in agents:
if a.state == "waiting_tool" and a.idle > TOOL_P95_LATENCY:
offload(a.kv) # 主动卸载,不占显存
continue
if a.kv.nbytes <= free_vram:
place(a.kv) # 关键路径优先落显存
else:
preempt_lowest_priority() # 抢占非关键任务,而非丢弃
def group_requests(reqs):
buckets = {}
for r in reqs: # 同一共享逻辑块 + 相同块序
buckets.setdefault(r.block_signature, []).append(r)
for sig, group in buckets.items():
if share_ratio(group) < SHARE_RATIO_FLOOR:
run_individually(group) # 共享不足,差分存储不划算
else:
write_master_copy(sig) # 共享主副本
for r in group:
write_delta(r) # 智能体私有差分
两个容易踩的点:卸载和回迁要成对出现,只卸载不预取,恢复执行时传输等待会写进尾延迟;差分存储的前提是共享比例够高,低于阈值就该退回普通缓存,否则元数据开销吃掉收益。
评估口径也要同步定下来:端到端时延、尾延迟、缓存占用、迁移开销、并发容量、任务质量一起看。定位瓶颈时把执行时间线、依赖图、缓存生命周期叠在一起,才能分清等待、抢占、重算、重复存储各占多少。
效果
在论文给出的配置下:
| 指标 | 基线 | 优化后 |
|---|---|---|
| 端到端时延(显存受限配置) | vLLM | TokenCake 最多降低 47.06% |
| 相同时延约束下可支持的并发智能体数 | 启用前缀缓存的 vLLM | TokenDance 最高 2.7 倍 |
两组数字对应两类不同收益:47.06% 来自关键路径不再被等待与重算拖住,2.7 倍来自显存里放的是差分而不是整份重复缓存。二者不能互相替代——只做调度不改数据表示,共享维度的冗余仍在;只做差分不做调度,等工具期间的显存照样闲置。
复盘
最贵的教训是别用单一指标验收。缓存命中率好看,可能是把显存顶到了危险水位;平均时延下降,可能是尾延迟在恶化。上线前就该把上一节那组指标和回退路径一起写进验收标准。
第二贵的是收益有边界条件。共享上下文比例、请求兼容性、输出质量都会挪动收益边界:共享比例低时差分存储不划算,块签名不兼容时成组处理退化成逐个执行,卸载过于激进会换来重算。这些都该做成开关和阈值,而不是写死的策略。
还能怎么改:把依赖图与工具调用事件做成运行时契约,而不是各框架自定义字段;把共享上下文从整串前缀拆成逻辑块,让复用粒度跟着块走;给任务质量加回归闸门,任何调度策略变更都先跑质量基线再放量。这套「工作负载分析—瓶颈定位—机制设计—端到端验证」的流程,比任何单点机制都更耐用。该报告所属专题在 12 月 18–19 日举办,共 13 大技术专题。
参考来源
- InfoQ 中文:《面向多智能体应用的大模型推理调度与缓存优化|AICon 北京》 https://www.infoq.cn/article/X8xujm6xovp7z2YzWbpM
- 同一报道的 RSS 引用版本(本文引用链接) https://www.infoq.cn/article/X8xujm6xovp7z2YzWbpM?utm_source=rss&utm_medium=article