新上线1个月前0 投票
Brain-OF：首个融合fMRI、EEG和MEG的全功能脑基础模型
在神经科学领域，脑基础模型正成为解码大脑活动的关键工具，但现有模型多局限于单一功能模态，如fMRI（功能性磁共振成像）、EEG（脑电图）或MEG（脑磁图），这限制了它们利用不同成像技术互补时空动态和集体数据规模的能力。近日，一项名为Brain-OF的研究在arXiv预印本平台上发布，标志着首个全功能脑基础模型的诞生，它通过联合预训练整合了fMRI、EEG和MEG三种模态，旨在突破单模态限制，实现更全面的脑信号分析。
为何需要全功能模型？
脑成像技术各有优劣：fMRI提供高空间分辨率但时间分辨率较低，EEG和MEG则相反，能捕捉毫秒级时间动态但空间精度有限。传统单模态模型无法充分利用这些互补特性，导致在复杂神经任务中表现受限。Brain-OF的设计初衷正是为了解决这一问题，通过统一框架处理单模态和多模态输入，以提升模型在多样化下游任务中的性能。
核心技术突破
Brain-OF的创新体现在三个核心组件上：
- Any-Resolution Neural Signal Sampler（任意分辨率神经信号采样器）：将不同时空分辨率的脑信号投影到共享语义空间中，解决了模态间异质性问题。
- DINT注意力与稀疏专家混合（Sparse Mixture of Experts）：模型骨干整合了DINT注意力机制，其中共享专家捕获模态不变表示，路由专家则专注于模态特定语义，有效管理语义偏移。
- Masked Temporal-Frequency Modeling（掩码时频建模）：一种双域预训练目标，同时在时间和频率域中重建脑信号，增强了模型对脑活动动态的捕捉能力。
预训练与性能表现
Brain-OF在约40个数据集组成的大规模语料库上进行预训练，覆盖了广泛的神经科学任务。初步结果显示，它在多种下游任务中表现优异，突出了联合多模态整合和双域预训练的优势。这不仅提升了模型精度，还为脑疾病诊断、认知研究等应用提供了更强大的工具。
行业意义与未来展望
Brain-OF的出现是AI在神经科学领域的一次重要进展。随着多模态数据融合成为趋势，此类模型有望推动脑机接口、个性化医疗和基础神经研究的突破。然而，模型仍面临数据隐私、计算资源需求等挑战，未来需进一步优化以适应实际临床环境。
总之，Brain-OF作为首个全功能脑基础模型，通过创新架构解决了多模态脑信号处理的难题，为AI驱动的神经科学开辟了新路径。