新上线今天0 投票
多模态持续学习中的模态贡献漂移正则化
多模态持续学习（MMCL）旨在从多模态数据中学习新知识，同时保留已学知识。然而，现有方法多聚焦于跨模态表示对齐或语义相似性，却忽视了各模态及其交互在增量任务中的相对贡献是否保持稳定。这种决策层面的偏移被研究者称为模态贡献漂移（MCD）。
MCD 的量化与成因
为量化 MCD，研究者提出了 MCD 分数，通过控制模态子集的干预，综合评估贡献强度与相对依赖度的变化。理论分析和实证表明，当前 MMCL 方法难以可靠地缓解这种漂移，原因在于它们未显式约束决策层面的贡献结构。
CMCDR 方法
针对上述问题，论文提出持续模态贡献漂移正则化（CMCDR），旨在保留先前任务中学到的模态贡献结构。由于 MMCL 设置可能提供或不提供旧样本，CMCDR 包含两种版本：
基于重放（Replay-based）：利用存储的旧样本，通过模态子集干预作为诊断探针，比较当前模型与冻结的旧模型在旧样本上的贡献轮廓，并约束旧样本的模态特定及交互贡献的变化。
无重放（Replay-free）：使用当前任务样本作为探针，蒸馏冻结模型在旧任务上的贡献响应，从而在无样本情况下正则化观测到的贡献轮廓。
实验验证
在多模态类增量学习和持续视觉问答任务上的实验验证了 CMCDR 的通用性和有效性。结果表明，显式约束模态贡献结构能显著缓解遗忘，提升持续学习性能。
意义与展望
该研究揭示了多模态持续学习中一个被忽视的关键维度——决策层面的模态贡献稳定性，为设计更鲁棒的 MMCL 算法提供了新思路。未来可进一步探索更细粒度的贡献度量及跨任务自适应机制。