Omni-InteractScope 基准：连续全模态流的主动交互三处短板

一句话结论

论文给出一个针对"边看连续音视频流边动手帮忙"的评测基准 Omni-InteractScope，把"该在什么时候调工具"“用户没开口时该不该主动提醒”"一整段引导能不能走完"三件事分别量化，实测结论是当前全模态大模型这三项全部不达标。

方法要点

核心思路：放弃单轮问答式评测，改成在时间轴上考。模型面对一段连续音视频流，必须自己判断事件何时发生、是否需要干预、干预成什么样，评测按时间戳对齐打分，而不是等流结束后统一判卷。

数据结构：基准包含 1,479 条人工标注、交叉复核的交互，覆盖 1,790 个时间目标，划分成八个任务组。每条交互把四件事绑定在一起：输入模态、事件触发条件、干预类型、用户需求。任务形态覆盖事件定时的工具调用、无查询（用户未提问）的主动提醒，也覆盖通知、警告、状态跟踪与连续响应。这种绑定方式的好处是，模型答对内容但答错时机不算对。

三层评测设计：

1. 及时性：要求首次响应落在目标时间点附近，单独统计"首次响应是否准时"，再统计"时机正确且工具调用正确"的联合准确率。后者才是真正能用的指标，因为准时但调错工具没有价值。
2. 主动性：在不给显式问题的目标集上测及时引用目标召回率，和显式提问场景分开算，避免用"会答题"掩盖"不会主动开口"。
3. 覆盖度：把需要多步跟进的引导拆成完整序列，只有整段序列全部走完才算覆盖。

评测流程伪代码：

for stream in benchmark.streams:              # 连续音视频流
    history = []
    for t, chunk in stream.frames():          # 按时间推进，不预读未来
        resp = model.observe(chunk, history)  # 模型自主决定是否干预
        if resp is not None:
            hit = match(resp.target, stream.targets, tol=stream.tolerance)
            # 及时性：|resp.t - target.t| 在容差内
            # 联合分：时机正确 且 工具/内容正确
            score.timing_and_tool += hit.timing and hit.tool_ok
            score.recall += hit.reference_target     # 主动性
            history.append(resp)
    # 覆盖度：整条引导序列是否全部命中
    score.coverage += all(seq.done for seq in stream.guidance_sequences)

论文还做了针对性控制实验，指出两点：工具调用分数高并不能证明模型真的把事件落地到了流内容上；提醒覆盖率明显受响应历史与提醒频率影响。也就是说，换一套历史拼接方式，分数会变，跨实验比较必须固定这些条件。

关键数字

这是诊断型基准，衡量的是"离能用还差多远"，没有相对基线的提升幅度，因此下表给出各维度的最好成绩与参评规模。

两点值得单独拎出来：准时首次响应上限 40% 意味着多数情况下模型要么不动、要么动晚；召回率不超过 23.0% 说明"用户没问但该提醒"这件事基本没被覆盖；26 条引导序列里有 9 个模型一条都没走完，说明长程跟进能力几乎不存在。

局限与前提

• 只诊断不给方案：论文产出是基准与测试结果，不提供训练方法或架构改进，读它是为了知道短板在哪，不是拿来找解法的。
• 引导序列样本偏少：端到端覆盖只有 26 条序列，最好的模型也只走完 1~3 条，序列层面的差异统计上不稳健，不宜据此给模型排细名次。
• 分数对配置敏感：作者自己指出提醒覆盖率依赖响应历史与频率，复现时必须固定历史窗口、提醒频率上限、时间容差，否则数值不可比。
• "及时"的定义由容差决定：容差取值直接改变 40% 与 32.0% 这类绝对值的观感，评估自家模型时要用同一套容差重新跑。
• 打扰成本未体现：摘要层面没有给出误报与过度提醒如何计入分数，真实产品里"少说一句"和"多说一句"的代价不对称，落地前需要自行补一层打扰率评估。
• 适用场景：会议实时助理、直播/监控流的主动告警、边看边操作的流式智能体等需要"在流中插话"的产品，用这个基准做压力测试是合适的；纯离线文档问答不必套用。

能不能用

截至检索到的 arXiv 摘要页 与 HF Daily Papers 条目，页面未标注代码仓库或数据集下载入口，作者也未在摘要中声明开源，使用前需先确认发布状态。

本地复现的前置条件：一套能流式处理音视频的全模态模型推理栈、支持按时间戳注入分片并保留状态的管理层、可配置的时间容差判定器，以及把响应历史与提醒频率固定下来的实验脚本。先拉取论文与版本信息：

# 确认版本与元数据
curl -s https://arxiv.org/abs/2610.35439 | grep -E "Submitted on|Subjects"

# 取 HTML 全文用于核对任务组定义与容差设置
curl -sL https://ar5iv.labs.arxiv.org/html/2610.35439 -o omni_interact_scope.html

如果只想要一个可执行判断：把自家流式助手的首次响应延迟和主动提醒召回率按这个口径测一遍，若准时率明显低于 40%、主动召回接近 23.0% 这条线，说明还不具备上线主动交互的条件。

参考来源

• Omni-InteractScope: Benchmarking Proactive and Agentic Interaction in Continuous Omnimodal Streams（arXiv 摘要页）
• 论文全文 HTML（ar5iv）