新上线13天前0 投票
MuteBench：评估多模态融合系统对传感器故障的鲁棒性
临床AI系统依赖多模态生理数据，但传感器在实际应用中频繁失效。现有基准缺乏对多种融合架构在两类缺失模式下的系统评估。为此，研究者提出了 MuteBench——一个覆盖 7 个临床领域、9 个数据集、6 种融合架构和 125,000 个样本的基准，专门评估模型在模态缺失（整个通道丢失）和模态内缺失（连续时间片段丢失）下的鲁棒性。
核心发现
- 架构族是鲁棒性的最强预测因子，其影响远超参数量。通道独立模型（如处理各模态独立分支的架构）对模态缺失容忍度高，但对模态内缺失敏感，尤其在短序列上。
- 课程式模态丢弃（训练中逐步增加丢弃率）仅在丢弃率不超过训练最大值时可靠。
- 通道数、序列长度和模态对齐方式共同决定哪种缺失模式更具威胁。
PTB-XL案例研究
在 PTB-XL 心电图数据集上的实验表明，基于扩散的插补可改善模态内缺失下的下游分类性能，尤其对专家路由机制对损坏输入敏感的那些模型提升最大。不过，该结论在更广泛数据集上的泛化性仍需验证。
实际意义
MuteBench 为从业者提供了具体指导：在选择现有架构时，应优先考虑架构族而非参数量；在训练策略上，课程式模态丢弃需谨慎设置最大丢弃率；在缺失处理上，扩散插补是值得探索的方向。该基准也为设计更鲁棒的多模态融合方法提供了评估框架。