新上线今天0 投票
二元小样本分类的谱相图：内在维度、几何饱和与表征诊断
机器学习中一个基本但缺乏理论指导的问题是：何时停止收集标注样本？一篇来自 arXiv 的新论文提出了 饱和指数 $S(K)$，用于衡量小样本分类中模型性能是否已趋于稳定，为标注决策提供了理论依据。
核心概念：饱和指数
饱和指数定义为 $S(K) = \operatorname{erank}(\widehat{\Sigma}_W^{(K)}) / K$，其中 $\operatorname{erank}$ 表示有效秩，$\widehat{\Sigma}_W^{(K)}$ 是 $K$ 个样本的池化类内协方差矩阵。论文证明，当 $S(K)$ 低于某个阈值时，协方差估计量已很好地逼近总体协方差，线性判别函数趋于稳定。该指数仅需支持特征即可在 $O(d^3)$ 时间内计算，无需测试标签或训练好的分类器。
实验验证
研究者在 17 个二元任务、6 个数据集 上进行了评估，共 246 次加倍对观测。结果显示：
- 16/17 个任务 中，$S(K)$ 与边际准确率增益呈正 Spearman 相关（中位数 $\rho = 0.811$）。
- 总体 Spearman 相关系数为 $\rho = 0.548$（$p = 1.1 \times 10^{-20}$）。
基于 $S(K)$ 值，论文定义了 三阶段相图：
- 探索阶段：边际增益平均 $3.48%$
- 过渡阶段：边际增益平均 $2.40%$
- 饱和阶段：边际增益平均 $0.82%$
所有两两显著性检验均支持该划分（$p \leq 0.008$）。
应用价值
作为二元停止规则，饱和指数的 AUC 达到 0.752，可为标注决策提供有意义的概率指导。此外，论文发现任务间渐近有效秩与峰值准确率无显著单调关系（Spearman $r_s = 0.380$, $p = 0.133$），而 低饱和指数搭配低准确率 可诊断表征能力不足。
局限与展望
当前结果仅适用于固定线性分类器的二元分类。作者讨论了向 N 路分类 和 预训练骨干表征 的扩展作为未来工作。这项工作为小样本学习中的样本效率问题提供了理论工具，有望降低标注成本。