图接地基准:五个模型在五类知识图谱上的多跳与幻觉

ppylox
·11/8/2026·2 阅读

一句话结论

这篇论文用统一的多层级查询集,对照“图接地”和“无图接地”,测试五个模型在五类异构知识图谱上的多跳推理与幻觉;结论是图接地能降低所有被测模型的幻觉率,但查询越复杂性能仍会下滑,领域模型并不自动更强。

方法要点

论文没有提出新模型,而是提出一套评测协议:同一个问题分别放在图感知(图接地)和图无关两种条件下,比较推理深度、事实准确性和幻觉率。模型包括 GPT-5.1、Gemini 2.0 Pro、Llama 3、Qwen、BioGPT;知识图谱包括 DrugBank、NeuroSynth、Cognitive Atlas、Brain Map、GDPKG,共五类异构图。多层查询集覆盖多跳推理和高层推理,并用人工标注检查一致性:科恩卡帕为 0.781,范围 0.753–0.807;弗莱斯卡帕为 0.77。

核心设计可概括为两步:先固定模型与知识图谱组合,再切换“给不给图结构”这一条件。图接地不是改模型参数,而是让回答阶段能使用图谱中的实体与关系;无图条件则只靠模型自身参数知识。作者还用通用模型与领域模型做对照,检验“领域模型在专门任务上一定更强”这一假设。

# 依据原文设置还原评测条件的伪代码
models = ["GPT-5.1", "Gemini 2.0 Pro", "Llama 3", "Qwen", "BioGPT"]
kgs = ["DrugBank", "NeuroSynth", "Cognitive Atlas", "Brain Map", "GDPKG"]
conditions = ["图接地", "无图接地"]

for kg in kgs:
    queries = load_multitier_queries(kg)  # 多跳、高层推理、事实准确性
    for model in models:
        for cond in conditions:
            graph = kg if cond == "图接地" else None
            answer = model.answer(queries, graph=graph)
            score(answer,
                  reasoning_depth=True,
                  factual_accuracy=True,
                  hallucination_rate=True)

结果方向很明确:通用模型,尤其是 GPT-5.1 和 Gemini 2.0 Pro,在多跳和高层推理任务上整体优于领域模型;但随着查询复杂度上升,性能会下降。图接地降低了所有被测模型的幻觉率。与初始假设相反,领域模型在没有图接地的专门任务上并未稳定胜出。作者据此讨论按任务复杂度和计算约束选择“模型—知识图谱”组合,并提到面向个性化医疗、认知障碍诊断和可解释 AI 的混合神经符号架构。

关键数字

原文摘要没有给出逐项跑分和具体提升百分比,因此下表只列可核数字与方向性结论,不补造分值。

数据集/对象 指标 对比基线或条件 提升幅度/结果
DrugBank、NeuroSynth、Cognitive Atlas、Brain Map、GDPKG(5 个知识图谱) 多跳推理、高层推理、事实准确性、幻觉率 图接地 vs 无图接地;通用模型 vs 领域模型 通用模型整体更优;图接地降低所有模型幻觉率;查询越复杂性能越下降
5 个模型:GPT-5.1、Gemini 2.0 Pro、Llama 3、Qwen、BioGPT 模型类型对比 通用模型与领域模型对照 GPT-5.1 与 Gemini 2.0 Pro 在多跳和高层推理上整体更强;领域模型未稳定胜出
多层级查询集人工标注 标注一致性 科恩卡帕、弗莱斯卡帕 科恩卡帕 0.781(范围 0.753–0.807),弗莱斯卡帕 0.77

可直接引用的数字是:5 个模型、5 个知识图谱、0.781、0.753–0.807、0.77。至于“图接地到底把幻觉率降了多少个百分点”,摘要层面没有给出,不能拿方向性结论反推具体幅度。

局限与前提

适用场景是生物医学与认知神经科学的知识图谱问答,尤其是需要多跳链路和高层推理的问题。前提是手里已有结构化知识图谱,并能把图结构接入回答流程;如果只有纯文本语料,这套“图接地 vs 无图接地”的对照不能直接套用。

可核的边界有三点。第一,查询复杂度上升后性能下降,说明多跳链路仍是薄弱点;图接地降低幻觉,不等于解决所有事实错误。第二,领域模型没有稳定胜出,选型不能只看“领域”标签。第三,评测固定在五个模型、五类知识图谱和多层级查询集上,换模型、换图或换领域都需要重新验证。

作者在摘要中没有列出专门失败案例,信息源也未给出代码与权重仓库。因此不能把“幻觉率降低”外推为临床可直接使用;医学与认知诊断场景仍需要专家审阅和外部验证。原文也没有给出延迟、吞吐或成本数字,部署容量不能凭这篇摘要估算。

能不能用

可以用的是评测思路和选型原则:做知识图谱问答时,把图接地作为一个独立变量测清楚,而不是默认“上了领域模型就更准”;对多跳和高层推理,优先比较通用模型加图接地的组合,再决定是否引入领域模型。

开源状态需要谨慎:信息源未列出代码与权重仓库,不能确认可直接复现。本地复现至少需要五类知识图谱、多层级查询集、五个模型的访问方式或本地权重、图接地与无图接地两套回答管线,以及人工标注和评分流程。若用闭源模型接口,成本取决于调用量和图查询量,原文没有给可用数字。

参考来源

相关文章