跳到主内容
登录
← 返回题库
八股概念4/5 偏难百度ai · 一面 ★ 0 · 浏览 2 · 2025 年

Transformer 自注意力机制与复杂度

自注意力是怎么计算的?时间复杂度为什么是 O(n²d)? 多头注意力相比单头带来什么收益,位置编码为什么必需?

Transformer大模型

参考答案

先自己想 30 秒再看答案,比直接读一遍有用得多。

追问链

  1. 1. 有哪些降低注意力复杂度的方案?
  2. 2. 为什么用 LayerNorm 而不是 BatchNorm?