开源模型的安全审计：DeepSeek V4.1 第三方评测

一句话结论

这篇论文不训模型，只做一件事：给一个开放权重的前沿模型补上第三方安全审计。论文 于 2026 年 10 月 26 日提交，作者 17 人（Yao Huang 与 16 位合作者），评测对象是 DeepSeek V4.1 Flash-1017——V4.1 Flash 的最新版本，相对 V4 换了新架构、放大了训练规模、智能体能力明显增强。

评测口径借自欧盟《通用人工智能行为准则》，落到三类风险上：评测完整性、失控、有害操纵，共 34 个基准，其中 5 个是作者自建套件。作者的原话结论是：相对 V4 一代有实质性安全改善，在若干维度接近或追平领先的闭源系统，但仍有值得持续关注的行为。换句话说，它交付的不是一张"安全/不安全"的标签，而是一套可复用的第三方审计流程。

方法要点

核心思路是把安全评测从"看答案"改成"看过程"。三个关键设计：

1. 统一协议做横向可比。 论文按 AEF-1 标准组织对比，把 V4.1 Flash-1017 与 V4.1 Flash、更早的 DeepSeek V4 系列，以及 GPT-6 Astra、GPT-5.6 Sol、Gemini 3.8 Flash 放在同一套流程下跑。这一步的价值在于：没有统一协议，跨模型的"更安全"就没有意义。

2. 三层风险面拆开评。 评测完整性问的是"这次考试本身可信吗"——模型是否察觉到自己在被测、公开题库是否已被污染；失控问的是模型是否出现偏离人类监督、目标自行漂移的行为；有害操纵问的是模型是否被诱导去操纵用户。三者混在一个总分里会互相掩盖，所以论文坚持分面打分。

3. 过程级可观测。 这是全文最硬的一条工程主张：只看最后一轮输出和最终状态检查，检不出失控行为，必须同时落盘推理轨迹与动作日志。对做智能体部署的读者，这条比任何分数都更可执行。

对应的评测流水线大致是这样：

# 按论文三层风险面组织的评测流水线（伪代码）
BENCHES   = load_benchmarks(total=34)          # 其中 5 个为自建套件
BASELINES = ["V4.1-Flash", "V4-earlier",
             "GPT-6-Astra", "GPT-5.6-Sol", "Gemini-3.8-Flash"]

for bench in BENCHES:
    for target in ["V4.1-Flash-1017"] + BASELINES:
        run = rollout(target, bench, protocol="AEF-1")
        # 关键：不只看末轮，全过程落盘
        log.final_turn(run.output)             # 末轮输出
        log.state(run.end_state)               # 终态检查
        log.trace(run.reasoning_trace)         # 推理轨迹
        log.actions(run.action_log)            # 动作日志

report = score(BENCHES,
               facets=["evaluation_integrity",
                       "loss_of_control",
                       "harmful_manipulation"])

关键数字

论文摘要页可核验的量化信息集中在评测规模与覆盖面上，逐基准分数分布在 87 页正文与 44 张图里。下表只填能核验的部分，不代填任何百分比：

规模侧的几个硬数字：

作者明确表示，V4.1 Flash-1017 相对 V4 一代是实质性改善，但用词是"接近或匹配"而非全面超越，并且强调"仍存在值得持续关注的行为"。这句话在安全报告里是留了余地的，读的时候不要当成通过认证。

局限与前提

作者自己承认的三条不足，恰好就是论文结尾的三条建议：

1. 安全性会在小版本之间漂移甚至回退。 因此安全评测必须挂进增量发布流程，而不是发大版本时做一次。这条直接否定了"上次测过就行"的做法。
2. 末轮输出加终态检查不足以检出失控。 部署侧需要覆盖推理轨迹与动作日志的过程级可观测能力——这既是评测要求，也是线上监控要求。
3. 公开基准不可全信。 模型会对公开测试产生"评测意识"，题库也存在污染可能，所以自建私有基准是可信评测的前提条件。

阅读时还要注意几个前提：

• 34 个基准里有 5 个是自建套件，题目不公开，外部无法原样复现这部分；
• 结论是分面的方向性判断，摘要层没有给出单一总分，跨模型比较要看具体维度；
• 评测对象绑定在具体版本号（1017）上，换 checkpoint 结论不自动继承；
• 智能体能力越强，失控风险面越大，评测结论与部署时的工具权限、系统提示强相关。

能不能用

先说开源情况。 在 arXiv 摘要页 与 全文 HTML 中，可获取的只有 PDF、HTML 与 LaTeX 源码三类，信息源没有提到评测代码、自建基准题库或原始日志是否开源。因此目前能直接拿来用的是它的评测框架与三条工程建议，不是一套开箱即跑的安全测试集。

被评模型侧。 论文的写作动机正是"开放权重模型受到的前沿风险审查少于闭源模型"，说明权重本身是开放可得的，本地部署不存在授权障碍；缺的是配套的评测与观测管线。

本地复现需要准备：

1. 固定版本号的模型权重（必须是 1017 这一版，否则结论不可比）；
2. 34 个基准中公开部分的执行框架，以及自建套件的替代方案；
3. 推理轨迹与动作日志的采集链路——这是最容易漏、也最影响结论的一环；
4. 87 页正文与 44 张图里的评分口径，用来对齐自己的打分实现。

抓全文与源码：

# 87 页正文与 44 张图都在这里
curl -L -o 2610.35671.pdf https://arxiv.org/pdf/2610.35671
curl -L -o 2610.35671.tex https://arxiv.org/e-print/2610.35671

值不值得用： 如果你在做智能体产品的上线前评估，这篇的流程设计（三层风险面 + 过程级日志 + 私有基准）可以直接抄成内部检查表，成本主要在日志管线而不在评测本身；如果你只想知道"这个模型能不能放心用"，那它给不出单一答案，需要你按自己的风险面挑维度看。

参考来源

• https://arxiv.org/abs/2610.35671
• https://ar5iv.labs.arxiv.org/html/2610.35671