智能体拼图泄密:合成评测中的泄露率与防护缺口

ppylox
·10/26/2026·0 阅读

一句话结论

这篇论文把“智能体从多份可读文档拼出敏感结论”当作可测的保密失败模式,并在受控模拟与两个开源执行框架中测到非零泄露率。

方法要点

论文关注的是“拼图效应”:单份文档可能都允许访问,但智能体把多份文档的信息聚合后,会得出一个本不该披露的敏感结论。作者没有只做提示词层面的讨论,而是构造了可判定的评测:先准备带有“禁止复合结论”的合成场景,再让智能体在查询、检索、回答流程中生成最终答案,最后由判官比对答案是否泄露该结论。

评测覆盖网络安全、医疗、军事三个方向的 30 个合成样例。受控模拟中,三个大模型智能体共产生 10,800 个最终答案;实时评测中,两个开源执行框架产生 1,440 个答案。查询意图既包括良性的、设计为单文档可答的问题,也包括更容易诱导聚合的请求。作者还测试了两种防护:可见的分类密级头和显式聚合规则。核心指标可写成:

[ \text{泄露率}=\frac{\text{被判为披露禁止复合结论的答案数}}{\text{总答案数}} ]

伪代码可还原其评测骨架:

# 复现思路:30 个合成样例,分别跑模拟与两个开源执行框架
for 样例 in 合成样例集:
    for 意图 in 查询意图集:
        for 框架 in ["受控模拟", "开源框架甲", "开源框架乙"]:
            答案 = 智能体.回答(意图, 文档=样例.文档,
                              防护=密级头与聚合规则)
            判定 = 判官.比对禁止复合结论(答案, 样例.禁止结论)
            记录(样例编号, 意图, 框架, 判定)

# 汇总:泄露率 = 判定为泄露的答案数 / 总答案数
# 按模型、意图、防护开关分组,并计算 95% 置信区间

这个设计的关键不在“模型会不会拒绝”,而在“拒绝是否仍然泄露结论”。论文特别指出,拒绝率上升不等于保密,因为相当一部分拒绝本身就把被禁止的结论说了出来。

关键数字

论文给出的结果并不支持“加个密级提示就安全”的判断。测试中表现最好的模型是 GPT-5.6-Sol,即便在良性、单文档可答的查询下,受控模拟里仍有 7.08% 的答案披露禁止复合结论。加入可见密级头与显式聚合规则后,汇总披露率下降,但所有意图上仍有 32.37% 的模拟答案属于不安全披露。

数据集/场景 指标 对比基线 提升幅度/结果
30 个合成网络安全、医疗、军事样例,受控模拟 10,800 个答案 禁止复合结论披露率 良性、单文档可答查询下的最佳模型 GPT-5.6-Sol 7.08%(95% 置信区间 3.75–10.67%)
同上,加入可见密级头与显式聚合规则 跨全部意图的不安全披露率 无防护汇总结果;原文只称下降,未给单一基线值 仍为 32.37%(95% 置信区间 28.33–36.19%)
两个开源执行框架的实时智能体,1,440 个答案 披露率 与受控模拟对照 原文称实时框架更差,未给单一百分比

因此,这篇论文的可操作结论是:拼图式泄密不是理论风险,而是已在评测中出现的保密失败模式;防护能压低比例,但没有把比例压到可忽略。

局限与前提

第一,样例只有 30 个合成场景,不能直接外推成真实企业语料上的泄露率。第二,评测集中在网络安全、医疗、军事三类敏感材料,其他行业需要重新设计“禁止复合结论”。第三,实时结果只说明两个开源执行框架下更差,摘要没有给出单一百分比,工程上不能拿它当精确基线。

作者也承认,加入密级头和聚合规则后,模拟答案中仍有 32.37% 不安全;拒绝增加也不能保证保密。这个结论的适用前提是“混合密级用户环境”:同一智能体能读到不同权限文档,且最终回答会面向权限较低的用户。若文档本身已经过严格脱敏,或智能体只能访问单一密级语料,风险结构会不同。

能不能用

这是一篇测量与评测论文,不是可直接安装的防护组件。从给出的 论文摘要 与 全文 HTML 看,页面没有列出代码与权重链接;论文使用的是两个开源执行框架,但评测脚本、合成样例和判官配置是否开放,需要进一步查正文与附录。因此短期内的用法是把它当作红队评测清单,而不是上线即用的过滤器。

本地复现至少需要:重建 30 个合成样例及其禁止复合结论;准备三个大模型智能体的调用条件;在受控模拟中跑出 10,800 个答案,并在两个开源执行框架中跑出 1,440 个答案;实现判官与 95% 置信区间统计。若团队没有这些评测资产,先做小规模人工抽查更现实。对开发者来说,最值得拿走的不是某个提示词,而是“单文档合规不等于聚合后合规”这条检查项。

参考来源

相关文章

评论 (0)

暂无评论,来写第一条吧