新上线16天前0 投票
S-GAI：从数据几何到网络权重的谱几何感知初始化方法
经典通用近似定理虽然证明了 Sigmoid 多层感知器（MLP）的表达能力，却未指明初始权重应如何编码数据分布的几何结构。针对这一缺口，研究者提出 S-GAI（Spectral Geometry-Aware Initialization）——一种专为单隐层 Sigmoid MLP 设计的谱几何感知初始化框架。该框架的核心思想是：将 Sigmoid 单元视为平滑的半空间门，从手动指定的平面几何出发，转向从图像数据中估计的逐类谱几何。
具体而言，S-GAI 对每个类别执行奇异值分解（SVD），获取均值、主方向及谱尺度，再通过能量阈值筛选保留的主方向。每个保留方向由两个 Sigmoid 门表示，这些类特定门共同构成一个直接由训练集初始化的共享隐藏层。此外，研究者还构建了一个基于 SVD 的子空间分类器作为非神经几何参考，以检验估计的谱类几何在嵌入 MLP 之前是否已具备判别性。
实验在 MNIST、Fashion-MNIST 以及更具挑战性的 CIFAR-10 上进行。结果显示：
- 初始化质量：S-GAI 初始化的 MLP 隐藏状态比 Xavier 初始化包含更多信息，且在全训练下能达到相近的最终精度。
- 冻结实验：当隐藏层被冻结、仅训练输出层时，S-GAI 初始化的性能仍优于随机冻结门，证明其有效将类谱几何嵌入到 MLP 中。
这项工作将数据几何结构系统性地引入网络初始化，为理解深度学习中的先验知识提供新视角。未来，该方法有望扩展到更深的网络架构，或与其它初始化策略（如 Kaiming 初始化）结合，进一步提升训练效率。