DART：基于 Token 重复度的多模态大语言模型高效推理

论文：Stop Looking for "Important Tokens" in Multimodal Language Models: Duplication Matters More

作者：Zichen Wen, Yifeng Gao, Shaobo Wang, Junyuan Zhang, Qintong Zhang, Weijia Li, Conghui He, Linfeng Zhang

机构：Shanghai Jiao Tong University、Shanghai AI Laboratory、Sun Yat-sen University、Peking University

发布时间：2025年2月（EMNLP 2025）

🔗 arXiv

分类标签：视觉 Token 压缩 Token Pruning Token Duplication FlashAttention 兼容 Training-Free

---

一句话总结

提出 DART（Duplication-Aware Reduction of Tokens）——揭示了基于注意力分数的 importance-based token pruning 方法在 MLLM 中 2/3 场景甚至不如随机剪枝 的惊人事实，转而基于 token 重复度 而非重要性进行视觉 token 压缩：选择少量 pivot token（≤2%），计算余弦相似度找到高重复 token 并移除，保留信息差异最大的 token。该方法 training-free、兼容 FlashAttention，在 LLaVA-1.5-7B 上以 88.9% 的剪枝率仍保持 93.7% 原始性能（超越第二名 2.2%），实现 1.99× 总加速 和 2.99× prefill 加速。

---

一、问题与动机

1.1 视觉 Token 的计算瓶颈

多模态大语言模型（MLLMs）中视觉 token 数量远超文本 token（数十到数百倍），且视觉信号空间冗余度高、信息密度低。高分辨率图像（如 LLaVA-Next）编码出 2880 个视觉 token，视频模型更需处理多帧 token，导致注意力计算的二次复杂度成为推理瓶颈。

1.2 现有 Importance-Based 方法的四大问题

大量工作（FastV、SparseVLM 等）基于注意力分数定义 token 重要性，然后剪掉"不重要"的视觉 token。但本文通过系统分析揭示了四个严重问题：

问题	具体表现
(I) 忽略 token 间交互	重要性分数是静态计算的 $s_i=\mathcal{F}(x_i\mid \mathcal{X})$，但剪掉某个 token 后其他 token 的重要性应该改变（如两个相似 token 剪掉一个后另一个应变更重要），这一动态交互被完全忽略
(II) 与 FlashAttention 不兼容	高效注意力算子（FlashAttention）不提供注意力分数的中间访问，要获取注意力分数必须禁用 FlashAttention，导致速度和内存双重退化
(III) 位置偏差	注意力分数对位置有系统偏差——位置上靠近末尾的 token 倾向获得更高的注意力分数，但这并不反映其真实价值
(IV) 显著的精度下降	最令人震惊的发现——部分知名的 importance-based 方法在 2/3 的基准测试中表现不如随机剪枝（见 Fig. 2：FastV 和 SparseVLM 在 88.9% 剪枝率下多数指标低于随机基线）

1.3 重新审视：重要性 vs. 重复度

上述问题引出一个根本性反思：在 token 压缩中，"哪些 token 重要"可能不是正确的问题；"哪些 token 是冗余重复的"才是关键。直觉上，当多个 token 的表征高度相似时，保留其中一个即可，不会损失信息。这一洞见受到 Transformer 中 token 趋于一致性（over-smoothing）现象的启发。

---

二、核心方法

DART 的设计极其简洁，仅包含三个步骤，总开销不超过 0.08 秒。

2.1 Step 1：Pivot Token 选择

从所有 token 中选择一小部分（不超过 2%，默认 8 个）作为 pivot token：

$$\mathcal{P}=\{p_1,p_2,\dots ,p_k\}\subseteq \mathcal{X},k\ll n$$

Pivot token 的选择策略可以是：

• K-norm：选择 K 矩阵 L1-norm 最大/最小的 token
• V-norm：选择 V 矩阵 L1-norm 最大/最小的 token
• Attention Score：选择注意力分数最高/最低的 token
• 随机选择：甚至随机选取也能获得接近最优的效果

用大白话说：pivot token 相当于"代表团"，代表了整个 token 集合的特征分布。后续通过度量其他 token 与代表团的相似度，来判断哪些 token 是冗余的。

2.2 Step 2：计算 ε-Duplicate Score

定义 pivot token $p_i$ 与视觉 token $x_j$ 之间的 重复度分数 为余弦相似度：

$$\text{dup}(p_i,x_j)=\frac{p_i^{\mathrm{\top }}{x}_j}{\parallel p_i\parallel \parallel x_j\parallel }$$

如果 $\text{dup}(p_i,x_j)>ϵ$，则认为 $x_j$ 是 $p_i$ 的 ε-duplicate（ε-重复体）。

2.3 Step 3：保留低重复度 Token

对每个 pivot $p_i$，其关联的保留集合为：

$${\mathcal{R}}_i=\{x_j\mid \text{dup}(p_i,x_j)\le ϵ\}$$

最终保留的 token 集合为所有 pivot token 加上所有低重复度 token 的并集：

$$\mathcal{R}=\mathcal{P}\cup \left(\bigcup _{p_i\in \mathcal{P}}{\mathcal{R}}_i\right)$$

其中阈值 $ϵ$ 根据预设的压缩比例动态确定。

用大白话说：与 pivot token 高度相似的视觉 token 被视为冗余信息，直接移除；与 pivot token 差异大的 token 说明携带了独特信息，必须保留。

2.4 理论保证

论文提供了严格的理论分析。在 Lipschitz 连续性和有界嵌入两个假设下：

引理 1（有界距离）：被剪掉的 token $x_j$ 与最近 pivot $p_i$ 的距离有上界：

$$\underset{p_i\in \mathcal{P}}{min}|p_i-x_j|\le \sqrt{2(1-ϵ)}\cdot B$$

引理 2（有界近似误差）：原始 token 集合 $\mathcal{X}$ 与保留集合 $\mathcal{R}$ 的 Hausdorff 距离有上界：

$$d_H(\mathcal{X},\mathcal{R})\le \sqrt{2(1-ϵ)}\cdot B$$

定理 1（性能保证）：模型输出的差异有上界：

$$\parallel f(\mathcal{X})-f(\mathcal{R})\parallel \le K\sqrt{2(1-ϵ)}\cdot B$$

用大白话说：当 $ϵ$ 越接近 1（即只剪掉与 pivot 极其相似的 token），性能损失的上界越小。这为 DART 通过调节 $ϵ$ 控制性能-效率权衡提供了理论依据。

2.5 方法特性

特性	说明
Training-Free	无需任何训练或微调
FlashAttention 兼容	pivot 选择可用 K/V-norm 或随机，完全不需要注意力分数
极低开销	token 压缩过程仅需 ≤0.08 秒
与 importance-based 正交	可与注意力分数方法组合使用（用注意力分数选 pivot，再用重复度做剪枝）
空间均匀性	保留的 token 在图像上分布均匀，无位置偏差

---

三、实验结果

3.1 主实验：图像理解任务

在 LLaVA-1.5-7B 上，10 个基准测试的平均性能（百分比为相对 vanilla 的保留率）：

方法	保留 192 tokens (↓66.7%)	保留 128 tokens (↓77.8%)	保留 64 tokens (↓88.9%)
ToMe (ICLR'23)	88.5%	80.4%	70.1%
FastV (ECCV'24)	91.2%	86.4%	77.3%
HiRED (AAAI'25)	91.5%	90.2%	87.0%
SparseVLM	96.3%	93.8%	84.6%
MustDrop	97.2%	95.6%	90.1%
FiCoCo-V	96.1%	94.9%	91.5%
DART (Ours)	98.8%	98.0%	93.7%

关键观察：

• 极端压缩下优势更显著：88.9% 剪枝率时 DART 超越第二名 FiCoCo-V 2.2%（93.7% vs. 91.5%）
• 在 LLaVA-Next-7B（2880 tokens → 320 tokens，↓88.9%）上同样领先：DART 93.9% vs 第二名 HiRED 91.8%，优势 2.1%

3.2 更先进模型上的验证

模型	↓66.7%	↓77.8%	↓88.9%
Qwen2-VL-7B + FastV	94.0%	91.0%	84.0%
Qwen2-VL-7B + DART	97.0%	94.3%	87.5%
MiniCPM-V2.6 + FastV	89.0%	83.4%	68.4%
MiniCPM-V2.6 + DART	92.9%	88.6%	76.1%

注意：对于训练时已做 token merging 的模型（如 Qwen2-VL）或使用 Resampler 压缩的模型（如 MiniCPM），DART 的增益略低，因为每个 token 信息密度更高，剪掉单个 token 的信息损失更大。

3.3 视频理解任务

在 Video-LLaVA 上保留 50% 视觉 token：

方法	TGIF Acc	MSVD Score	MSRVT Acc	Avg Acc	Avg Score
Video-LLaVA	47.0	3.9	57.3	58.2	3.6
+ FastV	45.2	3.9	55.0	57.1	3.5
+ DART	46.3	4.0	56.7	58.0	3.7

3.4 效率分析

在 LLaVA-Next-7B 上（2880 → 320 tokens）：

方法	总时间	Prefill 时间	FLOPs	KV Cache	POPE F1	总加速	Prefill 加速
Vanilla	36:16	22:51	100%	1512 MB	86.5	1.00×	1.00×
FastV	18:17	7:41	12.8%	168 MB	78.3	1.98×	2.97×
SparseVLM	23:11	-	15.6%	168 MB	82.3	1.56×	-
DART	18:13	7:38	12.8%	168 MB	84.1	1.99×	2.99×

关键发现：虽然 SparseVLM 的 FLOPs 仅比 DART 多 2.8%，但实际加速比低了 21.6%（1.56× vs. 1.99×），说明 仅靠 FLOPs 衡量加速效果缺乏实际意义——SparseVLM 和 MustDrop 的多阶段顺序 token 处理流程导致了显著的速度退化。

3.5 消融实验

Pivot Token 选择策略的鲁棒性

在 LLaVA-1.5-7B 上保留 128 tokens，8 个 pivot（4 visual + 4 text）：

Pivot 策略	GQA	MMB	MME	POPE	Avg.
Random	59.0	63.2	1772	80.6	96.0%
A-Score ♠ (最高)	59.2	63.1	1826	81.1	96.9%
A-Score ♡ (最低)	58.4	62.9	1830	81.0	96.7%
K-norm ♠	58.7	63.2	1840	80.1	96.8%
V-norm ♡	59.4	64.3	1825	81.6	97.2%
SparseVLM	56.0	60.0	1745	80.5	93.9%
FastV	49.6	56.1	1490	59.6	81.5%

核心结论：

• 随机选 pivot 仅比最优策略低 1.2%，但仍超越所有 importance-based 方法 2.1%——这强有力地证明了"重复度比重要性更关键"
• 选择"最重要"的 token 作为 pivot（A-Score ♠）仅比选择"最不重要"的（A-Score ♡）好 0.2%，颠覆了传统认知
• 两种策略（K-norm ♠ 和 K-norm ♡）保留的 token 重叠度平均 不到 50%，但性能相当，说明存在多组不同的有效 token 子集

Pivot Token 数量

Pivot token 过少（1-2 个）缺乏多样性，过多（20+）则多数保留的 token 就是 pivot 本身，退化为 importance-based 方法。默认 8 个 在性能和效率间取得最佳平衡。

剪枝层的选择

• 浅层剪枝（layer 2）速度最快但性能略有下降
• 深层剪枝（layer 10-20）性能接近甚至超过 vanilla 模型（在 POPE 上），暗示剪掉重复 token 可能减少幻觉
• 极端情况：在 layer 15-20 剪掉全部视觉 token，性能仅下降 0.1%-1.6%，揭示了 MLLM 中视觉模态利用不充分的问题

Pivot Token 的模态来源

来源	MME	TextVQA
All Tokens (视觉+文本)	1840	56.4
Visual Tokens only	1819	56.3
Text Tokens only	1810	55.7

两种模态的 pivot 都对性能有贡献，说明 DART 隐式地引入了文本引导的 token 选择，且无需显式计算跨模态注意力分数。

---

四、局限性与未来方向

4.1 无法应用于黑盒模型

DART 需要访问模型内部的 token 表征来计算重复度，无法应用于 GPT、Claude 等闭源模型的 API 调用场景。

4.2 高信息密度 token 的挑战

对于训练时已做 token 压缩的模型（如 Qwen2-VL 的训练时 token merging、MiniCPM-V2.6 的 Resampler 模块），每个视觉 token 的信息密度更高，剪掉单个 token 会导致更大的信息损失，DART 的效果相对减弱（但仍保持 97.0% 和 92.9% 在 66.7% 剪枝率下）。

4.3 Token 剪枝减少幻觉的机制尚不明确

实验中发现深层 token 剪枝在 POPE 上甚至超过 vanilla 模型，暗示剪掉重复 token 可能有助于减少幻觉。但这一现象背后的机制尚待深入研究——是因为去除冗余信息减少了模型对重复模式的过度依赖，还是因为缩短序列长度减轻了注意力的稀释效应？

---

五、个人思考

5.1 "重复度 > 重要性"的范式转变

DART 最核心的贡献不是方法本身（方法极其简单），而是观察和洞见：

1. Importance-based 方法不如随机剪枝——这个发现直接动摇了整个 token pruning 领域的方法论基础
2. 多组不同的 token 子集都能达到相当性能——这说明不存在唯一的"关键 token 集合"，重要的是保留信息的多样性而非特定 token 的"重要性"

这一思路与信息论中的冗余消除原理一致：压缩的最优策略不是保留"最重要"的部分，而是消除"最冗余"的部分。

5.2 与 Elastic Cache 的互补关系

方面	Elastic Cache	DART
压缩对象	KV Cache 向量	视觉 Token
压缩时机	指令编码后 + 生成过程中	Prefill 阶段 Layer 2 之后
重要性度量	注意力列求和	余弦相似度（重复度）
冗余处理	桶内均值合并	直接剪除
FlashAttention	不兼容（需注意力分数）	完全兼容
加速来源	减小 KV Cache，加速 decode	减少 token 数量，加速 prefill + decode

两种方法关注不同维度的冗余——Elastic Cache 关注时序维度上 KV 向量的冗余，DART 关注空间维度上视觉 token 的冗余。理论上两者可以组合使用：先用 DART 在浅层剪掉冗余视觉 token，再用 Elastic Cache 在生成阶段压缩 KV Cache。

5.3 与 OPERA 幻觉观察的关联

DART 的一个有趣发现是深层 token 剪枝可以减少幻觉。这与 OPERA 的发现形成呼应——OPERA 发现幻觉与注意力集中在少数 summary token 相关，而 DART 通过移除高重复度 token（这些 token 表征相似，可能正是 OPERA 所说的 summary token 群），打破了注意力的过度聚合模式，从而天然地缓解了幻觉。

5.4 方法的简洁性与普适性

DART 的整个流程不超过 5 行伪代码：选 pivot → 算余弦相似度 → 取最不相似的保留。这种极致的简洁性使其几乎可以零成本集成到任何 MLLM 中。更深层地说，DART 的成功暗示视觉 token 中存在大量结构化冗余——这不仅是一个效率问题，也揭示了当前 VLM 视觉编码器在信息压缩方面的不足，可能为设计更高效的视觉编码策略提供方向。

---

参考

• FastV（Chen et al., 2024）：基于注意力分数的视觉 token 剪枝——DART 的主要基线之一，DART 证明其在多数场景中不如随机剪枝
• SparseVLM（Zhang et al., 2024）：跨模态注意力引导的稀疏视觉 token 选择——另一个 importance-based 基线，同样被 DART 大幅超越
• ToMe（Bolya et al., 2023）：Token Merging，在 ViT 层中合并相似 token——与 DART 共享"相似 token 冗余"的直觉，但 ToMe 在语言模型中打破了跨模态交互
• FlashAttention（Dao et al., 2022）：IO-aware 精确注意力加速——DART 的重要设计约束，确保与高效注意力算子兼容
• MustDrop（Liu et al., 2024）：多阶段视觉 token dropping——DART 在性能和速度上均超越的强基线
• Elastic Cache（Liu et al., 2024）：importance-driven KV cache merging——与 DART 关注不同维度的冗余（KV Cache vs. 视觉 Token），两者互补