M3ID：通过视觉信息锚定与消退记忆逆向干预缓解多模态幻觉

论文：Multi-Modal Hallucination Control by Visual Information Grounding

作者：Alessandro Favero*, Luca Zancato, Matthew Trager, Siddharth Choudhary, Pramuditha Perera, Alessandro Achille, Ashwin Swaminathan, Stefano Soatto

机构：AWS AI Labs · EPFL（洛桑联邦理工学院）

发布时间：2024 年 3 月（arXiv:2403.14003v1）

发表状态：CVPR 2024（pp. 14303–14312）

链接：arXiv | PDF

分类标签：VLM Hallucination Mitigation Contrastive Decoding Conditioning Dilution Fading Memory Pointwise Mutual Information DPO

一句话总结

发现视觉语言模型（VLM）在自回归生成长文本或接收长文本提示时存在视觉条件稀释效应（Conditioning Dilution / Fading Memory Effect）——视觉提示对生成分布的影响随生成步数 $t$ 呈指数衰减并逐渐退化为纯语言先验 $p(\mathbf{y}\mid \mathbf{x})$；据此构建显式的指数消退记忆观测模型 $l_c={\gamma }_t{l}^{\ast }+(1-{\gamma }_t)l_u$（${\gamma }_t=e^{-\lambda (t+t_0)}$），导出随时间步单调增长的逆向对比解码项 $\frac{1-{\gamma }_t}{{\gamma }_t}(l_c-l_u)$ 与置信度门控机制 $\mathbb{I}[\underset{k}{max}(l_c{)}_k<\log \alpha ]$（M3ID），并进一步构建零人工标注的自生成偏好对进行 DPO 微调（M3ID + DPO），在 LLaVA-13B 上将 MS COCO 字幕幻觉率 ${\text{CHAIR}}_i/{\text{CHAIR}}_s$ 分别相对降低 26% / 29%，将 POPE 准确率相对提升 21%（M3ID）/ 24%（M3ID+DPO）。

核心贡献

1. 揭示并量化 VLM 自回归生成中的“视觉条件稀释 / 消退记忆效应”：提出视觉提示依赖度量（Visual Prompt Dependency Measure, PDM），通过度量标准条件生成分布 $p(\cdot \mid {\mathbf{y}}_{<t},\mathbf{x},c)$ 与丢弃图像 Token 后的无条件生成分布 $p(\cdot \mid {\mathbf{y}}_{<t},\mathbf{x})$ 之间的 Hellinger 距离（PDM-H）或条件采样词在无条件分布中的期望秩（PDM-R），首次定量证实：随着生成长度 $t$ 增加（或视觉 Token 与待预测词之间插入的文本提示变长），PDM 单调衰减（约 30 个 Token 后 $\text{PDM-R}\to 1$），且该衰减与物体幻觉频率的上升呈强正相关。
2. 提出随时间步动态放大的消退记忆逆向干预解码器（M3ID）：不同于 PMI、CD 或 VCD 等对所有生成步施加固定常数权重的对比解码方法，M3ID 将观测到的条件对数概率 $l_c$ 建模为理想无遗忘分布 $l^{\ast }$ 与无条件语言先验 $l_u$ 的时变凸组合 $l_c={\gamma }_t{l}^{\ast }+(1-{\gamma }_t)l_u$（${\gamma }_t=\exp (-\lambda (t+t_0))$），反解出随步数 $t$ 单调递增的修正系数 $\frac{1-{\gamma }_t}{{\gamma }_t}$，并引入置信度门控 $\mathbb{I}[\underset{k}{max}(l_c{)}_k<\log \alpha ]$ 区分由语法/上下文决定的确定性词汇（Contextual Pressure）与真正的视觉幻觉高风险词，从信息论角度等价于在测试时动态最大化生成序列与图像之间的逐点互信息（Pointwise Mutual Information, PMI）。
3. 提出零外部标注的自生成幻觉偏好对齐方案（M3ID + DPO）：利用 M3ID 生成的字幕作为正样本 ${\mathbf{y}}_w$，截取 ${\mathbf{y}}_w$ 的第一句作为前缀并交由丢弃图像的无条件 VLM $p(\mathbf{y}\mid \mathbf{x})$ 续写后半段作为负样本 ${\mathbf{y}}_l$（使负样本前半段切题而后半段自然滑向纯语言先验幻觉），无需任何人工标注或 GPT-4 蒸馏即可通过 DPO 将视觉锚定能力内化至单次前向推理的模型权重中。

1. 背景与核心洞察：为什么生成越长，VLM 越容易产生幻觉？

1.1 多模态语言模型形式化与虚假相关性

令 $p(\cdot \mid \mathbf{x},c)$ 表示以文本提示 $\mathbf{x}=(x_1,\dots ,x_m)\in {\mathcal{V}}^m$ 和视觉输入 $c\in {\mathbb{R}}^{d_1\times d_2\times 3}$ 为条件的多模态语言模型（VLM），其视觉编码器 $v(\cdot )$ 将图像 $c$ 映射为 $m_c$ 个连续视觉嵌入 $v(c)\in {\mathbb{R}}^{m_c\times d}$，与文本嵌入拼接后输入预训练 LLM 骨干进行自回归生成：

$$p(\mathbf{y}\mid \mathbf{x},c)=\prod _{t=1}^{n}p(y_t\mid y_1,\dots ,y_{t-1},\mathbf{x},c)=\prod _{t=1}^{n}p(y_t\mid {\mathbf{y}}_{<t},\mathbf{x},c)$$

由于 LLM 骨干的参数规模与预训练语料远大于视觉-语言对齐阶段的数据量，模型极易过度依赖历史生成文本 ${\mathbf{y}}_{<t}$ 中的语言共现先验（例如看到或先生成了 "table" 和 "chairs"，就顺着语言惯性生成图中并不存在的 "plates" 或 "fork"），而忽略视觉证据 $c$。

1.2 视觉提示依赖度量（PDM）与条件稀释（Conditioning Dilution）

为了在不依赖外部标注的情况下实时监测模型在生成第 $t$ 步时“在多大程度上看图说话”，作者构造了一个无视觉条件分布（Unconditioned VLM） $p(\cdot \mid {\mathbf{y}}_{<t},\mathbf{x})$——即在输入序列中直接丢弃（或在 Q-Former 中掩码）图像 Token $v(c)$，仅保留文本提示 $\mathbf{x}$ 与已生成前缀 ${\mathbf{y}}_{<t}$。据此定义第 $t$ 步的视觉提示依赖度量（Visual Prompt Dependency Measure, PDM）：

$$\mathrm{PDM}({\mathbf{y}}_{<t};c\mid \mathbf{x})\triangleq \mathrm{dist}(p(\cdot \mid {\mathbf{y}}_{<t},\mathbf{x},c),p(\cdot \mid {\mathbf{y}}_{<t},\mathbf{x}))$$

论文给出了两种具体实例化：

• PDM-H（Hellinger 距离度量）：采用概率分布间的 Hellinger 距离 $H(p,q)=2^{-1/2}\sqrt{\sum _{i=1}^{|\mathcal{V}|}(\sqrt{p_i}-\sqrt{q_i}{)}^2}\in [0,1]$，直接度量第 $t$ 步完整词表分布受视觉输入影响的偏移幅度；
• PDM-R（条件采样词在无条件分布中的秩度量，附录 D.1 式 5）：度量从条件分布 $p(\cdot \mid {\mathbf{y}}_{<t},\mathbf{x},c)$ 中采样出的高概率词在无条件分布 $p(\cdot \mid {\mathbf{y}}_{<t},\mathbf{x})$ 中的排名：

$$\mathrm{PDM}\text{-}\mathrm{R}(\mathbf{y},c\mid \mathbf{x})\triangleq {\mathrm{rank}}_{p(\mathbf{y}\mid \mathbf{x})}(\arg max{\mathrm{rank}}_{p(\mathbf{y}\mid \mathbf{x},c)})$$

当 $\mathrm{PDM}\text{-}\mathrm{R}$ 越大时，说明条件模型选出的词在纯语言模型看来越“出乎意料”，即该词强依赖于图像 $c$；反之，当 $\mathrm{PDM}\text{-}\mathrm{R}\to 1$ 时，说明条件模型选出的词恰好就是纯语言模型闭着眼睛也会选出的榜首词。

在 MS COCO 验证集上对 LLaVA-7B / 13B 生成的字幕逐词统计 PDM-H、PDM-R 与物体幻觉率（图 3、图 6），揭示出两个关键经验规律：

1. 消退记忆效应（Fading Memory Effect / Conditioning Dilution）：随着生成步数 $t$ 的增大，视觉 Token 距离当前生成位置的相对距离越来越远，$\mathrm{PDM}\text{-}\mathrm{H}$ 呈现近似对数线性的单调衰减趋势（对数线性回归斜率对应衰减率 $\lambda \approx 0.016$），而 $\mathrm{PDM}\text{-}\mathrm{R}$ 在生成约 30 个 Token 后迅速收敛至 $1$；与此同时，生成物体词为幻觉词（${\text{CHAIR}}_i$）的概率随 $t$ 显著攀升。
2. 上下文压力（Contextual Pressure）导致的“假阳性低 PDM”：并非所有 $\mathrm{PDM}\approx 0$ 的时间步都是幻觉。当模型正在生成语法功能词（如冠词 "a"、介词 "on"、连词 "and"）或多 Token 实体词的后半段（例如前缀已经是 "Peanut bu"，下一个 Token 必然是 "tter"）时，即使不看图像，上下文也已经唯一确定了下一个词，此时 $p(\cdot \mid {\mathbf{y}}_{<t},\mathbf{x},c)\approx p(\cdot \mid {\mathbf{y}}_{<t},\mathbf{x})$ 且条件分布的最大预测概率 $\underset{k}{max}p(k\mid {\mathbf{y}}_{<t},\mathbf{x},c)$ 接近 $1$。这类时间步受强上下文压力支配，不应被强行施加反语言先验干预。

2. 核心方法：M3ID 解码与自生成 DPO 对齐

2.1 消退记忆的生成建模与逆向干预推导

记第 $t$ 步条件 VLM 与无视觉条件 VLM 在词表 $\mathcal{V}$ 上的对数概率向量分别为：

$$l_c\triangleq \log p(y_t\mid {\mathbf{y}}_{<t},\mathbf{x},c)\in {\mathbb{R}}^{|\mathcal{V}|},l_u\triangleq \log p(y_t\mid {\mathbf{y}}_{<t},\mathbf{x})\in {\mathbb{R}}^{|\mathcal{V}|}$$

为了抵消随时间步加重的视觉遗忘，M3ID 假设存在一个不会随时间遗忘视觉信息的理想对数概率分布 $l^{\ast }(y_t\mid {\mathbf{y}}_{<t},\mathbf{x},c)$，而实际观测到的条件分布 $l_c$ 是理想分布 $l^{\ast }$ 与纯语言先验分布 $l_u$ 按时变记忆保留系数 ${\gamma }_t\in (0,1]$ 混合的凸组合：

$$l_c={\gamma }_t{l}^{\ast }+(1-{\gamma }_t)l_u,{\gamma }_t=\exp (-\lambda (t+t_0))$$

其中：

• $\lambda >0$ 为遗忘速率超参数（Forgetting Rate），控制视觉记忆随生成步数衰减的快慢（默认取 $\lambda =0.02$，与图 3 经验回归值 $0.016$ 高度吻合）；
• $t_0\ge 0$ 为提示词长度偏置（Prompt Offset）：在标准图像字幕任务中，图像 Token 后紧跟简短指令即可开始生成，取 $t_0=0$（即 ${\gamma }_t=e^{-\lambda t}$）；而在 VQA 任务（如 POPE）中，图像 Token 与回答起始位置之间隔着一段问题提示文本，该文本同样会稀释视觉条件，故令 $t_0$ 等于图像 Token 之后插入的提示词 Token 数量（短提示模板取 $t_0=10$，长提示模板取 $t_0=50$）。

由 $l_c={\gamma }_t{l}^{\ast }+(1-{\gamma }_t)l_u$ 直接移项求解理想分布 $l^{\ast }$（等价于设 $l^{\ast }=l_c+\mathrm{\Delta }$，代入得 $(1-{\gamma }_t)(l_c-l_u)={\gamma }_t\mathrm{\Delta }⟹\mathrm{\Delta }=\frac{1-{\gamma }_t}{{\gamma }_t}(l_c-l_u)$），得到无门控的消退记忆逆向估计器：

$${\hat{l}}^{\ast }=l_c+\frac{1-{\gamma }_t}{{\gamma }_t}(l_c-l_u)=\frac{1}{{\gamma }_t}{l}_c-\frac{1-{\gamma }_t}{{\gamma }_t}{l}_u$$

这一形式具有极其清晰的物理意义：

• 在生成初期（$t\to 0,t_0=0$），${\gamma }_t\to 1$，放大权重 $\frac{1-{\gamma }_t}{{\gamma }_t}\to 0$，模型本身对图像记忆清晰，${\hat{l}}^{\ast }\approx l_c$，几乎不作额外干预；
• 随着生成步数 $t$ 增长，${\gamma }_t=e^{-\lambda (t+t_0)}$ 单调递减，对比惩罚权重 $\frac{1-{\gamma }_t}{{\gamma }_t}=e^{\lambda (t+t_0)}-1$ 随时间步单调递增，从而在长文本后半段愈发激进地放大视觉条件与纯语言先验之间的差异 $(l_c-l_u)$，精准补偿被稀释的视觉信号。

2.2 置信度门控与 M3ID 完整解码准则

为防止上述逆向放大项在受“上下文压力”支配的确定性位置（如功能词、固定搭配词尾）破坏语法流畅度或引发过度补偿（Overcompensation），M3ID 引入基于最大预测概率阈值 $\alpha \in (0,1]$ 的指示函数门控：仅当条件模型对当前步预测存在不确定性（即 $\underset{k\in \mathcal{V}}{max}p(k\mid {\mathbf{y}}_{<t},\mathbf{x},c)<\alpha$，等价于 $\underset{k\in \mathcal{V}}{max}(l_c{)}_k<\log \alpha$）时，才激活对比修正项。最终 M3ID（Multi-Modal Mutual Information Decoding） 的对数概率修正公式与贪心解码准则为：

$${\hat{l}}^{\ast }(y\mid {\mathbf{y}}_{<t},\mathbf{x},c)=l_c+\mathbb{I}[\underset{k\in \mathcal{V}}{max}(l_c{)}_k<\log \alpha ]\frac{1-{\gamma }_t}{{\gamma }_t}(l_c-l_u),y_t=\arg \underset{y\in \mathcal{V}}{max}{\hat{l}}^{\ast }(y\mid {\mathbf{y}}_{<t},\mathbf{x},c)$$

其中默认超参数为 $\lambda =0.02,\alpha =0.3$（在采样解码下则对 ${\hat{l}}^{\ast }$ 重新归一化后采样）。算法每步仅需对同一批前缀并行执行一次含图前向（得 $l_c$）与一次去图前向（得 $l_u$），无需任何外部检测器或重训练。

2.3 信息论视角：与逐点互信息（PMI）及对比解码的统一关系

观察核心修正项 $l_c-l_u$，其展开形式恰为文本生成 $y_t$ 与视觉输入 $c$ 在给定上下文 $({\mathbf{y}}_{<t},\mathbf{x})$ 下的条件逐点互信息（Conditional Pointwise Mutual Information, PMI）：

$$l_c-l_u=\log \frac{p(y_t\mid {\mathbf{y}}_{<t},\mathbf{x},c)}{p(y_t\mid {\mathbf{y}}_{<t},\mathbf{x})}=\log \frac{p(y_t,c\mid {\mathbf{y}}_{<t},\mathbf{x})}{p(y_t\mid {\mathbf{y}}_{<t},\mathbf{x})p(c\mid {\mathbf{y}}_{<t},\mathbf{x})}=\mathrm{PMI}(y_t;c\mid {\mathbf{y}}_{<t},\mathbf{x})$$

因此，最大化 ${\hat{l}}^{\ast }$ 等价于在最大化对数似然 $l_c$ 的同时，以时变权重 $w_t=\mathbb{I}[\underset{k}{max}(l_c{)}_k<\log \alpha ]\frac{1-{\gamma }_t}{{\gamma }_t}$ 最大化生成词与图像的逐点互信息：

• 若退化为常数权重且取消门控（令 $\frac{1-{\gamma }_t}{{\gamma }_t}\equiv \text{const},\alpha =1$），M3ID 即退化为经典的文本 PMI 解码（PMI Decoding）；
• 若保留置信度门控但采用常数权重（令 $\frac{1-{\gamma }_t}{{\gamma }_t}\equiv \text{const},\alpha <1$），则退化为标准对比解码（Contrastive Decoding, CD） 的无视觉分支变体；
• M3ID 的核心优势在于将对比权重与消退记忆的时间动态绑定，避免了常数权重在句子开头过度惩罚（导致漏报显而易见的视觉实体）或在句子末尾惩罚不足（无法压制长程语言漂移）的两难困境。

2.4 M3ID + DPO：零人工标注的自生成偏好微调

由于推理期对比解码需要对无条件分支额外执行一次前向传播（计算开销约为单次前向的 $2\times$），作者进一步提出将 M3ID 的视觉锚定分布蒸馏回原模型权重中，实现训练期对齐、推理期零额外开销（M3ID + DPO）：

1. 正负偏好对的自生成构造（Self-Generated Preference Pairs）：在 MS COCO 训练集上随机采样 $\mathrm{10,000}$ 张图像，给定标准字幕提示 $\mathbf{x}$：
   • 正样本（Chosen，${\mathbf{y}}_w$）：直接使用推理期 M3ID 解码生成的低幻觉字幕 ${\mathbf{y}}_w$；
   • 负样本（Rejected，${\mathbf{y}}_l$）：截取正样本 ${\mathbf{y}}_w$ 的第一句话作为共享前缀，随后丢弃图像 $c$，使用无视觉条件 VLM $p(\mathbf{y}\mid \mathbf{x})$ 续写剩余句子得到 ${\mathbf{y}}_l$。这种“前半段有图锚定、后半段盲写续写”的构造方式极具巧思：${\mathbf{y}}_l$ 开头完全贴合图像主题，但在后半段自然滑向纯语言共现幻觉，精准模拟了真实 VLM 在长生成中发生的条件稀释故障，从而迫使 DPO 重点优化后半段的视觉锚定。
2. DPO 目标函数优化：以原始预训练 VLM $p_{\text{ref}}(\mathbf{y}\mid \mathbf{x},c)$ 为参考策略，优化参数化策略 $p_{\theta }(\mathbf{y}\mid \mathbf{x},c)$：

$${\mathcal{L}}_{\text{DPO}}(\theta )=-{\mathbb{E}}_{(c,\mathbf{x},{\mathbf{y}}_w,{\mathbf{y}}_l)}[\log \sigma (\beta \log \frac{p_{\theta }({\mathbf{y}}_w\mid \mathbf{x},c)}{p_{\text{ref}}({\mathbf{y}}_w\mid \mathbf{x},c)}-\beta \log \frac{p_{\theta }({\mathbf{y}}_l\mid \mathbf{x},c)}{p_{\text{ref}}({\mathbf{y}}_l\mid \mathbf{x},c)})]$$

其中 $\beta =0.1$，采用 LoRA（$r=64,{\alpha }_{\text{LoRA}}=16$）微调 5 个 Epoch（学习率 $2\times {10}^{-5}$，余弦退火，单台 $8\times \text{A100}$ 仅需约 2 小时）。微调后的模型既可直接以标准单分支推理（无额外开销），也可在推理期继续叠加 M3ID 解码以获得更强的幻觉抑制效果。

3. 实验结果与定量分析

3.1 实验设置

• 基础模型：主要基于 LLaVA-v1.3（7B / 13B）（Vicuna-v1.3 语言骨干 + CLIP ViT-L/14 视觉编码器），并在附录中扩展验证了基于 Q-Former 架构的 InstructBLIP（7B / 13B）（在 Q-Former 中掩码图像 Token 构造无条件分支 $l_u$）。
• 评测基准与指标：
  1. MS COCO 图像字幕（Captioning）：在完整 5,000 张 MS COCO 验证集图像上评测标准字幕（Prompt: "Provide a brief description of the given image"）与长字幕（Prompt: "Provide a detailed description of the given image"）。指标包括词级幻觉率 ${\text{CHAIR}}_i=\frac{|\text{幻觉物体提及数}|}{|\text{总物体提及数}|}\downarrow$、句级幻觉率 ${\text{CHAIR}}_s=\frac{|\text{含幻觉字幕数}|}{|\text{总字幕数}|}\downarrow$、真实物体覆盖率 $\text{Cover}\uparrow$（生成字幕覆盖 Ground-Truth 物体的比例）以及生成长度 $\text{Length}$。
  2. POPE 物体存在性问答（VQA）：在 MS COCO 验证集上评测 Random、Popular、Adversarial 三个子集，报告准确率（Accuracy $\uparrow$）、F1 分数以及回答 "Yes" 的比例（理想值为 $50\mathrm{\%}$）。
• 对比基线：标准生成（Base，温度 $T=0.2$ 采样与 Greedy $T=0$ 贪心）、文本 PMI 解码（PMI）、对比解码（CD）、后处理重写修订器 LURE、以及并发工作 VCD（Visual Contrastive Decoding）与 OPERA。

3.2 MS COCO 图像字幕实验结果

表 1 与附录表 5 展示了 LLaVA-7B / 13B 在 MS COCO 5,000 张验证集图像上的标准字幕与详细长字幕结果：

模型规模与方法	标准字幕 ${\text{CHAIR}}_i\downarrow$	标准字幕 ${\text{CHAIR}}_s\downarrow$	标准字幕 $\text{Cover}\uparrow$	详细长字幕 ${\text{CHAIR}}_i\downarrow$	详细长字幕 ${\text{CHAIR}}_s\downarrow$	详细长字幕 $\text{Cover}\uparrow$
LLaVA-7B (T=0.2)	8.1	17.5	53.3	10.1	35.6	71.1
LLaVA-7B (Greedy)	7.6	16.5	53.3	9.9	34.4	70.6
LLaVA-7B + PMI	6.7	16.2	51.5	9.8	31.3	69.2
LLaVA-7B + CD	6.3	14.8	55.2	9.2	31.8	66.8
LLaVA-7B + VCD	7.5	16.9	53.4	—	—	—
LLaVA-7B + OPERA	6.7	15.2	53.6	—	—	—
LLaVA-7B + M3ID（本文）	5.9	13.8	55.1	8.8	28.8	67.4
LLaVA-7B + M3ID + DPO（本文）	5.7	13.5	55.8	8.5	28.1	68.9
LLaVA-13B (T=0.2)	7.4	18.5	55.2	8.5	31.8	67.0
LLaVA-13B (Greedy)	7.0	17.6	55.3	8.3	31.4	66.7
LLaVA-13B + LURE	6.4	27.1	—	—	—	—
LLaVA-13B + PMI	5.5	13.8	50.8	8.5	28.1	66.5
LLaVA-13B + CD	5.9	14.9	54.0	8.2	29.0	68.1
LLaVA-13B + M3ID（本文）	5.5	13.2	54.0	7.8	27.5	68.2
LLaVA-13B + M3ID + DPO（本文）	5.3	12.6	54.2	7.5	26.9	67.7

核心发现：

1. 显著压降词级与句级幻觉且不牺牲覆盖率：在 LLaVA-7B 上，推理期 M3ID 将 ${\text{CHAIR}}_i$ 从 $8.1\mathrm{\%}$ 降至 $5.9\mathrm{\%}$（相对降低 $27.2\mathrm{\%}$），${\text{CHAIR}}_s$ 从 $17.5\mathrm{\%}$ 降至 $13.8\mathrm{\%}$（相对降低 $21.1\mathrm{\%}$），同时真实物体覆盖率 $\text{Cover}$ 从 $53.3\mathrm{\%}$ 提升至 $55.1\mathrm{\%}$；叠加 DPO 后进一步达到 $5.7\mathrm{\%}/13.5\mathrm{\%}/55.8\mathrm{\%}$。在 LLaVA-13B 上，M3ID 将 ${\text{CHAIR}}_i/{\text{CHAIR}}_s$ 分别相对降低 $25.7\mathrm{\%}/28.6\mathrm{\%}$，叠加 DPO 后达到 $5.3\mathrm{\%}/12.6\mathrm{\%}$。
2. 修正率远高于误伤率（附录表 6）：逐样本对比基础模型与 M3ID 的字幕质量表明，在 LLaVA-13B（7B）上，M3ID 成功消除了 18.0%（16.2%） 样本中的幻觉物体，而仅在 2.4%（3.0%） 的无幻觉样本中引入了新错误，净收益高达 $6\sim 7.5$ 倍。
3. 跨视觉桥接架构泛化性（InstructBLIP，附录表 9）：在采用 Q-Former 桥接器的 InstructBLIP 上，M3ID 同样将 7B 模型的 ${\text{CHAIR}}_i/{\text{CHAIR}}_s$ 从 $7.9/21.2$ 降至 $6.6/17.6$，将 13B 模型从 $7.3/18.6$ 降至 $6.4/14.0$。

3.3 POPE 视觉问答与长提示抗稀释实验

表 2 与附录表 10 报告了在 POPE 基准上的准确率与长短提示鲁棒性对比：

模型与方法	Random Acc $\uparrow$	Popular Acc $\uparrow$	Adversarial Acc $\uparrow$	All Acc $\uparrow$	Yes 比例（理想 50%）	长提示 All Acc（$t_0=50$）
LLaVA-7B Base	74.8	61.8	58.1	64.9	84.0%	55.6
LLaVA-7B + PMI	75.5	64.3	62.7	67.5	78.7%	—
LLaVA-7B + CD	75.8	64.8	63.3	68.0	77.7%	—
LLaVA-7B + M3ID（本文）	76.0	69.3	65.8	70.3	72.9%	65.7
LLaVA-7B + M3ID + DPO（本文）	81.2	73.9	68.2	74.4	69.4%	—
LLaVA-13B Base	67.9	63.8	59.8	63.8	83.7%	57.9
LLaVA-13B + PMI	74.1	68.6	65.6	69.4	75.5%	—
LLaVA-13B + CD	74.7	69.3	66.2	70.1	74.7%	—
LLaVA-13B + M3ID（本文）	84.3	77.0	71.3	77.5	61.8%	69.8
LLaVA-13B + M3ID + DPO（本文）	85.2	79.1	73.2	79.2	61.8%	—

• 缓解盲目迎合偏置（Yes-Bias）：基础 LLaVA-v1.3 模型在 POPE 上存在严重的 "Yes" 迎合偏置（Yes 比例高达 $84.0\mathrm{\%}/83.7\mathrm{\%}$）。M3ID 通过引入提示偏置 $t_0$ 抵消问题文本对视觉 Token 的稀释，将 LLaVA-13B 的综合准确率从 $63.8\mathrm{\%}$ 跃升至 $77.5\mathrm{\%}$（相对提升 $21.5\mathrm{\%}$），叠加 DPO 后达到 $79.2\mathrm{\%}$（相对提升 $24.1\mathrm{\%}$），同时将 Yes 比例压回 $61.8\mathrm{\%}$。
• 长提示条件稀释的直接验证（表 10）：当把 POPE 的提问模板从简短版（约 10 个 Token）替换为冗长版（约 50 个 Token）时，基础 LLaVA-7B / 13B 的综合准确率分别从 $64.9\mathrm{\%}/63.8\mathrm{\%}$ 暴跌至 $55.6\mathrm{\%}/57.9\mathrm{\%}$（几乎接近随机盲猜）；而 M3ID 只需设置对应的 $t_0=50$，即可将准确率恢复至 $65.7\mathrm{\%}/69.8\mathrm{\%}$，甚至超越基础模型在短提示下的表现。

3.4 消融实验与过度补偿（Overcompensation）边界分析

1. 时变衰减因子 ${\gamma }_t$ 与置信度门控 $\alpha$ 的网格消融（图 4、附录图 7）：
   • 当 $\alpha$ 固定在 $[0.1,0.4]$、$\lambda$ 在 $[0.01,0.05]$ 范围内变化时，M3ID 在降低 ${\text{CHAIR}}_i$ 与保持 $\text{Cover}$ 之间取得稳定的帕累托最优；
   • 若关闭门控（$\alpha \to 1.0$）或将遗忘率 $\lambda$ 设得过大（如 $\lambda \ge 0.1$），模型会出现两类典型的过度补偿（Overcompensation）退化：
     • 漏报上下文可预测的真实物体（附录表 7）：例如图中确实有一名男子在遛狗（"A man walking a dog"），但由于在给定 "walking a dog" 时纯语言模型也能高概率猜出 "man"（$l_u$ 很高），过强的无门控负向惩罚会强行压制 "man"，导致模型只描述狗而漏掉人，使覆盖率 $\text{Cover}$ 从 $55.1\mathrm{\%}$ 骤降至 $49\mathrm{\%}$ 以下；
     • 长尾乱码与跨语种 Token 崩塌（附录表 8）：当 $\frac{1-{\gamma }_t}{{\gamma }_t}$ 过大且缺乏 $\alpha$ 门控保护时，$l_c-l_u$ 中的数值噪声被指数级放大，迫使模型采样到低频西里尔字母（Cyrillic）或残缺子词，破坏文本可读性。

4. 深度评述、局限性与复现注意事项

1. 核心方法论贡献与历史定位：M3ID 与同期的 VCD（CVPR 2024）共同开启了 VLM 免训练对比解码抑制幻觉的先河，但两者的切入视角截然不同：VCD 关注输入端视觉不确定性（对图像施加高斯噪声构造退化分支，采用固定对比权重），而 M3ID 关注自回归生成过程中的时间维度记忆衰减（直接丢弃图像构造纯语言分支，并推导了随时间步 $t$ 指数增长的对比权重 $\frac{1-{\gamma }_t}{{\gamma }_t}$）。这一“视觉影响随生成长度指数衰减”的发现（PDM 曲线）后来成为多模态长文本生成与位置编码改进的重要理论依据。
2. 纯去图负分支的固有局限（后续被 SID / AVISC 等工作改进）：M3ID 的负向分支 $p(y_t\mid {\mathbf{y}}_{<t},\mathbf{x})$ 直接移除了全部视觉 Token，这虽然能剥离纯文本层面的语言共现先验，但存在两个隐患：
   • 序列长度与位置编码（RoPE）错位：在 LLaVA 中直接删去 $m_c=576$ 个视觉 Token 会使后续文本 Token 的绝对位置索引前移 576 位，导致条件分支 $l_c$ 与无条件分支 $l_u$ 的 RoPE 位置相位不一致；
   • 无法剥离“视觉背景触发的跨模态共现幻觉”：许多幻觉并非源于纯文本惯性，而是因为看到了图中的背景（如绿茵场、餐桌）从而在多模态早期融合层激发了高频共现物体（如足球、刀叉）。完全删除图像会导致负分支失去对场景上下文的感知，呈漫无目的的均匀分布（这一点正是后续 ICLR 2025 的 SID 论文重点批评并改进的核心问题）。
3. 源码与公式复现细节勘误：阅读官方补充材料时需注意一处符号笔误——补充材料第 B 节正确定义了包含提示偏置的衰减系数 ${\gamma }_t=e^{-\lambda (t+t_0)}$（使得 $t_0>0$ 时初始衰减更强、放大权重 $\frac{1-{\gamma }_t}{{\gamma }_t}>0$），但在补充材料第 D.4 节正文叙述中误印成了 ${\gamma }_t=e^{-\lambda (t-t_0)}$（若用减号，当 $t=1,t_0=50$ 时会导致 ${\gamma }_t>1$、权重变为负数！）。工程复现时务必使用加号 ${\gamma }_t=\exp (-\lambda (t+t_0))$。此外，本文实验基于早期 LLaVA-v1.3（其 POPE 基线 Acc 仅 $64.9\mathrm{\%}$），在迁移至经过更高分辨率与更强指令微调的 LLaVA-v1.5 / LLaVA-NeXT 时，需相应下调 $\lambda$ 以避免过度惩罚。