文本嵌入层级表示与量化取舍:38项实测

ppylox
·11/6/2026·0 阅读

一句话结论

这篇论文不提出新嵌入模型,而是把“层级可变长表示”和“量化”这两个已被分别使用的效率手段放到同一张 MTEB 评测表里,回答一个工程问题:省存储时,降维和降精度各自会把哪些任务先拖坏。作者在 arXiv 全文 中按任务类别报告结果,避免用一个平均分掩盖检索的快速退化。

方法要点

核心思路是控制变量做交互评测:固定四个 Transformer 嵌入模型,分别在一维/二维层级表示上,组合 32 位浮点、8 位整数、二值三种精度,跑 MTEB 的 38 项任务;每个任务形成 168 种配置。它不是训练新模型,而是比较“表示侧降维”和“数值侧降精度”同时使用时,效果与效率如何变化。

关键设计有三点:

  1. 效率拆成两维记录:每向量理论存储、端到端评测时间。前者可按维度与位宽估算,后者只测一次,作者明确把它当指示性结果。
  2. 层级表示通过从中间层采样得到可变长度向量;量化把数值精度从 32 位降到 8 位或二值。二者正交,所以要观察组合效应,而不是只看单项。
  3. 统计检验用 Friedman 检验加 Nemenyi 事后分析,并按任务类别下结论,尤其单独盯检索。

存储公式可写成 (S \approx d \cdot b)。当维度降到 (d/8) 且用 int8,(S \approx (d/8)\cdot 8 = d),相对 32 位浮点的 (32d) 就是 32 倍下降;论文对应设置保留 94.4% 基线效果。实验配置伪代码如下:

对于 模型 in 四个Transformer嵌入模型:
    对于 层级 in [一维, 二维]:
        对于 精度 in [32位浮点, 8位整数, 二值]:
            对于 任务 in MTEB的38项任务:
                # 每个任务共 168 种配置
                运行并记录(任务, 模型, 层级, 精度,
                           指标=[配对分类, 重排序, 检索, ...],
                           效率=[每向量存储, 端到端评测时间])

关键数字

数据集/任务范围 指标/结论 对比基线 提升幅度/变化
MTEB 38 项任务,四个 Transformer 嵌入模型,一维/二维层级表示,32 位/8 位/二值量化 配置覆盖 — 每任务 168 种配置
配对分类、重排序 int8 与 32 位浮点的统计差异 32 位浮点 统计上不可区分;整体最多损失 1.5 个百分点
所有任务类别 二值量化对比 基线 每一类都显著更差
一次维度减半 统计可检测性 原始维度 m>16 时不可检测;连续两次减半总可检测
8 倍降维 + int8 每向量存储与效果 32 位浮点基线 存储下降 32 倍,保留 94.4% 基线效果
端到端评测时间 量化是否提速 未量化基线 无证据表明量化提速;中间层采样明显缩短时间,但仅单次测量,属指示性

局限与前提

第一,评测时间只测一次,作者自己把时间结论视为指示性。因此“量化没让评测更快”不能直接当成吞吐定论;相对稳的观察是,从中间层采样能明显缩短评测时间。

第二,检索退化远快于其他类别。配对分类和重排序上 int8 与 32 位浮点统计上不可区分,但这个结论不能直接外推到检索;工程上应按任务类别设阈值,而不是用一个全局量化档位。

第三,二值量化在所有任务类别都显著更差,不适合作为默认省存储方案。它可能适合极端存储受限场景,但论文没有给出“可接受”的兜底结论。

第四,“维度减半一次”不是无条件安全:m>16 时统计不可检测,连续两次减半总可检测。也就是说,减半一次有边界,连续减半会稳定暴露损失。

第五,8 倍降维加 int8 换来 32 倍每向量存储下降,但只保留 94.4% 基线效果,不是无损压缩。适用场景是文本嵌入的 MTEB 任务与四个 Transformer 模型、一维/二维层级表示;不能直接外推到生成模型或其他模态。

能不能用

论文是作者版开放获取文章,CC BY 4.0,发表在 Information Sciences 763 (2027) 124271,arXiv 摘要页 可查。信息源没有给出代码仓库或权重下载链接,所以不能直接说“开箱复现”。

本地复现至少需要:MTEB 的 38 项任务评测流程、四个 Transformer 嵌入模型、一维/二维层级表示实现,以及 32 位/8 位/二值量化实现;按论文设置每个任务跑 168 种配置,并分别记录每向量存储和端到端评测时间。硬件与耗时信息源未列,无法给本地成本。若做线上选型,可先用 int8 在配对分类和重排序上验证,再单独压测检索;不要用二值量化直接兜底。

参考来源

相关文章