一句话结论
AB-Attention 解决的是一个很具体的问题：视频扩散 Transformer 的动态块稀疏注意力，在稀疏度拉高之后保真度会崩（块重要性估计粗糙、被剪掉的块从 softmax 里消失、整块瓦片一刀切保留或丢弃），它用一套免训练的三段式设计把「截断式近似」换成「带权估计」，在 Wan2.1 与 HunyuanVideo 上跳过 89%–92% 的注意力计算，PSNR 仍比最强基线高最多 4.4 dB，端到端最高 2.23× 加速。论文编号 arXiv:2610.39663，Bin Xu 等 9 人，2026 年 10 月 29 日提交，20 页、5 图、3 表。
方法要点
它要修的三个洞。 3D 全注意力的二次成本主导视频扩散 Transformer 的推理，已有做法是在当前激活里选出一批键/值块，只在这些块上算精确注意力。问题是：块重要性来自粗粒度摘要或代价不低的全局聚类；被剪掉的块彻底退出 softmax，分母就不对了；瓦片粒度太粗，一个瓦片里往往只有少数键有用，却整块留下或整块丢掉。
对应的三个设计。
- 块内聚类选择器（IBCS）：把聚类范围限制在每个查询块内部，不做全局 token 重排。这样估算块重要性的代价低，但估计的是本块真正关心的那部分键，而不是全局平均出来的粗摘要。
- 按入选概率加权重采样（SIP）：不取 top-k 截断，而是把估计出的重要性归一化成入选概率 π，按概率采样块，再用 1/π 反加权。一次前向得到的是对稠密注意力的一次带权估计，而不是把小块集重归一化后的近似。
- 子瓦片聚合核：选中粒度可以小于一个瓦片，由核函数把这些小块拼成完整的张量核瓦片，细化了选择却不额外增加张量核的计算量。
形式化对比。 截断式块稀疏算的是 softmax 在子集 S 上的重归一化；AB-Attention 算的是 Σ_{b∈S}(1/π_b)·attn_b，其中 π_b 由 IBCS 给出。前者的偏差随稀疏度单调变大，后者的偏差只取决于 π_b 估得准不准，稀疏度本身不再直接引入系统性偏差。
按摘要描述整理的伪代码（非原文代码）：
def ab_attention(q, k, v, q_blk, kv_blk, keep_ratio, m):
outs = []
for qb in split(q, q_blk): # 逐查询块处理，不重排 token
centers = kmeans(qb, m) # IBCS：聚类只发生在查询块内部
imp = [score(centers, kb) for kb in split(k, kv_blk)] # 每块重要性
pi = normalize(imp) # 归一化为入选概率
sel = multinomial(pi, int(len(pi) * keep_ratio)) # SIP：采样而非 top-k
w = 1.0 / pi[sel] # 逆入选概率反加权
kk, vv = gather_subtiles(k, v, sel) # 小于瓦片的块拼成张量核瓦片
outs.append(exact_attention(qb, kk, vv) * w)
return concat(outs)
关键数字
摘要把 Wan2.1 与 HunyuanVideo 的结果合并陈述，可见文本里没有按模型分列，下表照此标注，不做拆分推测。
| 场景 | 指标 | 对比基线 | 论文报告 |
|---|---|---|---|
| Wan2.1 / HunyuanVideo 文生视频 | 注意力计算跳过比例 | 动态块稀疏基线（其计算量为 AB-Attention 的 1.8–3.6 倍） | 跳过 89%–92% |
| 同上 | PSNR | 最强基线 | 最高提升 4.4 dB |
| 同上 | 端到端耗时 | 基线 | 最高 2.23× 加速 |
三个数字要连起来读才有意义：注意力层面砍掉九成以上，端到端只拿到 2.23×，说明注意力之外的固定开销（解码、调度迭代等）占比不小，这也是这条路线加速比的天花板所在。另外 4.4 dB 是 PSNR 口径，摘要没写清是注意力输出相对稠密注意力的保真度，还是生成视频相对稠密基线的保真度，别直接当成「画质涨 4.4 dB」。
局限与前提
- 证据范围有限。 抓取到的页面只含摘要与元数据，实验设置、基线配置、逐模型表格无法核对；摘要也未单列局限章节，下面几条凡属推断我都标出来了。
- 只报 PSNR。 像素级保真度不覆盖主观画质、运动一致性、时序抖动，而这几项恰是视频生成最容易翻车的地方。要判断能否上生产，得看正文里有没有感知类指标。
- 只覆盖两个模型。 结论建立在 Wan2.1 与 HunyuanVideo 上，迁移到其它视频扩散 Transformer 是否成立，摘要没有证据。
- 采样估计有方差（推断）。 1/π 反加权在 π 很小时会放大方差，稀疏度越高越依赖 IBCS 估得准。keep_ratio 能压到多低，是这个方法真正的适用边界，摘要里的 89%–92% 是它给自己划的安全区，不是通用值。
- 免训练不等于免改造。 不改权重，但必须换掉注意力实现，改动点在推理栈底层的核函数，而不是推理脚本里的几个参数。
能不能用
代码： 摘要写明代码已开源（原文为「Our code is available at this https URL」），但抓取文本里该链接被截断，只能从 arXiv 摘要页 的代码链接跳转。权重： 未提及发布权重；方法免训练，直接用 Wan2.1 / HunyuanVideo 原有权重即可，这也是它相对训练式稀疏化方案最实际的优点——不用重训，不用等权重放出。
复现的前提条件： 一是能跑通这两个原模型的推理环境，显存与依赖要按原模型的标准配齐，AB-Attention 本身不降低这部分门槛；二是注意力层可替换，且核函数要支持把小于瓦片的键/值块聚合成张量核瓦片，这决定了工程量落在算子层；三是你的瓶颈确实在 3D 注意力上，否则 2.23× 的端到端上限拿不到。值不值得用： 已经在线上的视频扩散 Transformer 推理服务、且能改注意力算子，值得花时间读正文的核实现与逐模型表格；只是想给本地生成提点速、又不想动算子，先放着。