安全标签测的是场景还是文件：多模态安全基准审计

一句话结论

这篇论文审计“情境安全”基准里的 SAFE/UNSAFE 标签，指出现有分数可能来自场景本身、用户请求，甚至基准自己的文件，而不是模型真的理解了安全；作者用基准卡片和定位-停止分解把这几类信号拆开。论文全文与摘要可见arXiv 页面和全文 HTML。

方法要点

核心思路是先问一个容易被忽略的问题：基准给每个场景打 SAFE 或 UNSAFE，评分时却通常让多模态大模型自由回答，再用回答对标签打分。这个分数到底测了场景安全，还是测了请求措辞，或者测了基准文件里的捷径？作者提出“基准卡片”，用七个测量字段区分标签来源，并填了六个基准。它不是新模型，而是一套审计基准标签测量对象的流程。

关键发现有三类。MSSBench 对话子集的标签会通过图像文件泄漏：仅用图像尺寸就能达到 82.3% 的标签准确率，匹配或超过七个商业模型中的六个；在作者修正后的对话切分上，这条尺寸规则回落到随机水平。MOSSBench 的项目划分本身固定了标签；HoliSafe 上仅用请求给成对场景排序，效果与用场景差不多。这说明“安全标签”不总是场景属性。

作者进一步提出定位-停止分解：取一对安全与不安全场景，分别看排序和打标签，把高于标签交换零假设的差距拆成阈值部分、安全与不安全分数的重叠部分、以及只在配对内成立的顺序部分。对十四个开源多模态大模型，多数模型的排序好于打标签，且超出 AUROC 能解释的范围。对话子集上，一个共享阈值能修复三分之一到一半的额外排序优势；标签无关重中心化可在平衡批次上恢复；在 VSCBench 上对同一情境的未标注场景做重中心化，十四个模型中有十三个排序改善。

伪代码可概括为：

# 审计流程（伪代码）
def audit_benchmark(benchmark, open_models):
    card = fill_benchmark_card(benchmark, fields=seven_fields)
    # 分别只给场景、只给请求、只给基准文件元数据
    scene_score = eval_scene_only(open_models, benchmark)
    request_score = eval_request_only(open_models, benchmark)
    file_score = eval_file_metadata(open_models, benchmark)

    if benchmark.name == "MSSBench-chat":
        assert image_size_only_accuracy == "82.3%"
        assert matched_or_beaten_commercial == "6/7"

    split = spot_stop_decompose(benchmark)
    return {
        "threshold": split.threshold,
        "overlap": split.overlap,
        "within_pair_order": split.within_pair_order,
        "card": card,
    }

关键数字

这些数字说明两件事：图像尺寸泄漏在特定对话切分上足以伪装成安全理解；而排序能力与标签能力并不等价，很多模型“会排不会判”。对开发者来说，看到安全基准分数前，先检查文件元数据和请求是否单独就能预测标签，成本很低。

局限与前提

这套审计针对情境安全基准，不是通用安全对齐评测。标签是否可信，依赖基准的场景定义和请求设计；基准卡片填的是六个基准，不能直接外推到所有多模态安全集。定位-停止分解需要成对的安全与不安全场景，对无法配对或安全边界本身模糊的数据解释力有限。共享阈值只修复三分之一到一半的额外排序优势，重叠部分和配对内顺序仍会留下误差。重中心化依赖同情境的未标注场景，并强调平衡批次；现实部署中的类别分布通常不平衡。摘要没有展开作者对失败案例的专门讨论，因此可确认的边界是：先审计标签来源，再谈模型安全能力。

能不能用

如果你要发布多模态安全评测分数，能用，但应作为上线前的低成本审计：先做图像尺寸、文件元数据和纯请求基线，看标签是否被非场景信号预测。若要复现完整方法，成本较高。论文页面可见 PDF、HTML 和 TeX 源，未列出代码仓库或权重链接；权重需按各开源模型自己的发布获取。复现至少需要六个基准、十四个开源多模态模型、评测脚本，以及实现基准卡片七字段与定位-停止分解。对生产评测流水线，建议先借用其审计思想，而不是等待一键复现。

参考来源

• https://arxiv.org/abs/2611.01125
• https://ar5iv.labs.arxiv.org/html/2611.01125