一句话结论
这篇论文把“智能体从多份可读文档拼出敏感结论”当作可测的保密失败模式,并在受控模拟与两个开源执行框架中测到非零泄露率。
方法要点
论文关注的是“拼图效应”:单份文档可能都允许访问,但智能体把多份文档的信息聚合后,会得出一个本不该披露的敏感结论。作者没有只做提示词层面的讨论,而是构造了可判定的评测:先准备带有“禁止复合结论”的合成场景,再让智能体在查询、检索、回答流程中生成最终答案,最后由判官比对答案是否泄露该结论。
评测覆盖网络安全、医疗、军事三个方向的 30 个合成样例。受控模拟中,三个大模型智能体共产生 10,800 个最终答案;实时评测中,两个开源执行框架产生 1,440 个答案。查询意图既包括良性的、设计为单文档可答的问题,也包括更容易诱导聚合的请求。作者还测试了两种防护:可见的分类密级头和显式聚合规则。核心指标可写成:
[ \text{泄露率}=\frac{\text{被判为披露禁止复合结论的答案数}}{\text{总答案数}} ]
伪代码可还原其评测骨架:
# 复现思路:30 个合成样例,分别跑模拟与两个开源执行框架
for 样例 in 合成样例集:
for 意图 in 查询意图集:
for 框架 in ["受控模拟", "开源框架甲", "开源框架乙"]:
答案 = 智能体.回答(意图, 文档=样例.文档,
防护=密级头与聚合规则)
判定 = 判官.比对禁止复合结论(答案, 样例.禁止结论)
记录(样例编号, 意图, 框架, 判定)
# 汇总:泄露率 = 判定为泄露的答案数 / 总答案数
# 按模型、意图、防护开关分组,并计算 95% 置信区间
这个设计的关键不在“模型会不会拒绝”,而在“拒绝是否仍然泄露结论”。论文特别指出,拒绝率上升不等于保密,因为相当一部分拒绝本身就把被禁止的结论说了出来。
关键数字
论文给出的结果并不支持“加个密级提示就安全”的判断。测试中表现最好的模型是 GPT-5.6-Sol,即便在良性、单文档可答的查询下,受控模拟里仍有 7.08% 的答案披露禁止复合结论。加入可见密级头与显式聚合规则后,汇总披露率下降,但所有意图上仍有 32.37% 的模拟答案属于不安全披露。
| 数据集/场景 | 指标 | 对比基线 | 提升幅度/结果 |
|---|---|---|---|
| 30 个合成网络安全、医疗、军事样例,受控模拟 10,800 个答案 | 禁止复合结论披露率 | 良性、单文档可答查询下的最佳模型 GPT-5.6-Sol | 7.08%(95% 置信区间 3.75–10.67%) |
| 同上,加入可见密级头与显式聚合规则 | 跨全部意图的不安全披露率 | 无防护汇总结果;原文只称下降,未给单一基线值 | 仍为 32.37%(95% 置信区间 28.33–36.19%) |
| 两个开源执行框架的实时智能体,1,440 个答案 | 披露率 | 与受控模拟对照 | 原文称实时框架更差,未给单一百分比 |
因此,这篇论文的可操作结论是:拼图式泄密不是理论风险,而是已在评测中出现的保密失败模式;防护能压低比例,但没有把比例压到可忽略。
局限与前提
第一,样例只有 30 个合成场景,不能直接外推成真实企业语料上的泄露率。第二,评测集中在网络安全、医疗、军事三类敏感材料,其他行业需要重新设计“禁止复合结论”。第三,实时结果只说明两个开源执行框架下更差,摘要没有给出单一百分比,工程上不能拿它当精确基线。
作者也承认,加入密级头和聚合规则后,模拟答案中仍有 32.37% 不安全;拒绝增加也不能保证保密。这个结论的适用前提是“混合密级用户环境”:同一智能体能读到不同权限文档,且最终回答会面向权限较低的用户。若文档本身已经过严格脱敏,或智能体只能访问单一密级语料,风险结构会不同。
能不能用
这是一篇测量与评测论文,不是可直接安装的防护组件。从给出的 论文摘要 与 全文 HTML 看,页面没有列出代码与权重链接;论文使用的是两个开源执行框架,但评测脚本、合成样例和判官配置是否开放,需要进一步查正文与附录。因此短期内的用法是把它当作红队评测清单,而不是上线即用的过滤器。
本地复现至少需要:重建 30 个合成样例及其禁止复合结论;准备三个大模型智能体的调用条件;在受控模拟中跑出 10,800 个答案,并在两个开源执行框架中跑出 1,440 个答案;实现判官与 95% 置信区间统计。若团队没有这些评测资产,先做小规模人工抽查更现实。对开发者来说,最值得拿走的不是某个提示词,而是“单文档合规不等于聚合后合规”这条检查项。