SheepNav
新上线11天前0 投票

EMAN:多任务学习中的优化驱动容量增长新框架

多任务学习(MTL)旨在通过共享表示同时解决多个相关任务,以提升效率和泛化能力。然而,现有方法在模型容量调整上存在局限:要么依赖硬共享或固定结构,要么需要预设多个路径或专家,要么根据任务边界或冲突信号进行动态扩展。这些方法往往受限于预定义结构,或需要人工干预,无法真正实现按需生长。

针对这一痛点,来自北京农业信息技术研究中心、西北工业大学等机构的研究者提出了EMAN(Emergent Modular Atomic Network,涌现模块化原子网络)框架,探索一个根本性问题:网络能否从单路径计算出发,仅在出现持续优化证据时,才生长出新的独立路径?

EMAN 的核心创新在于,它通过潜在相对相位(latent relative phases)暴露了一个反对称生长方向(antisymmetric growth direction),从而在不实例化第二条路径的情况下,持续监测多个决策信号,将局部的优化证据转化为结构决策。只有当证据充分(即通过认证)后,EMAN 才会实际物化出两条等容量的独立路径,并自适应地分配共享与任务专属的表示容量。

实验方面,研究团队在受控秩设置、PASCAL-ContextNYUv2 数据集上进行了广泛验证。结果显示,EMAN 能以具有竞争力的计算成本取得更优性能,证明了其有效性。

这项工作的意义不仅在于提出了一种新的 MTL 架构,更在于提供了一种优化驱动的容量增长范式:容量变化不再依赖人工预设,而是由训练过程中的优化信号自然触发。这为多任务学习乃至更广泛的动态神经网络设计提供了新思路。

当然,EMAN 仍面临一些挑战,例如如何准确判断“持续优化证据”,以及如何避免过早或过晚地生长路径。未来,这一框架有望与神经架构搜索、持续学习等方向结合,推动模型向更自主、更高效的方向演进。

延伸阅读

  1. 马斯克加速燃气轮机生产的新路径,却伴随污染争议
  2. 德州州长冻结Flock AI监控摄像头资金,反监控浪潮席卷全美
  3. Caterpillar:从自动化采矿到AI部署,经验如何迁移?
查看原文