SheepNav
新上线今天0 投票

曲率感知的自适应最近邻分类:CARSANN 框架

最近邻分类(k-NN)是机器学习中最基础的算法之一,其核心在于如何定义“局部性”。然而,传统 k-NN 在整个特征空间中使用固定的邻居数量,忽略了数据流形在不同区域可能存在的几何差异。这种“一刀切”的假设,在面对局部几何结构变化显著的数据时,往往会导致分类性能下降。

针对这一问题,来自巴西圣卡洛斯联邦大学的 Alexandre L. M. Levada 提出了一种全新的几何驱动框架——曲率感知半径收缩自适应最近邻分类(CARSANN)。该研究已在 arXiv 上发布,论文编号为 arXiv:2608.27634。

CARSANN 的核心思想是:根据数据流形的局部曲率,动态调整每个邻域的空间范围。具体而言,该方法首先利用 TwoNN 算法估计数据的固有维度,并通过主成分分析(PCA)构建固有表示;随后,基于形状算子(shape operator)估计局部平均曲率,并以此控制邻域尺度——曲率较大的区域(即几何结构复杂、弯曲剧烈的区域)会获得更强的半径收缩,而近似平坦的区域则保留更广的空间支持。这种方式不同于仅调整邻居数量或局部距离度量的传统自适应方法,而是直接、显式地调整局部证据的空间范围。

实验验证了 CARSANN 的有效性。研究者在 超过 70 个真实世界的 OpenML 数据集 上进行了测试,结果显示 CARSANN 不仅稳定优于标准 k-NN,还与现有的自适应最近邻方法具有竞争力。尤其值得一提的是,在控制相同基础邻域大小的对比实验中,CARSANN 在 45 个数据集中有 40 个取得了更高的平衡准确率,平均平衡准确率从 0.6506 提升至 0.7528。此外,与固定 k=5 的 k-NN 相比,优势同样明显。Friedman 检验和 Nemenyi 事后检验证实这些改进在统计上是显著的。

这项研究的启示在于:局部流形曲率可以作为一种有效的几何控制变量,用于自适应地调整邻域支持范围,从而为基于邻居数量的自适应方法提供了补充性的新范式。CARSANN 的提出,为处理具有复杂几何结构的数据提供了新的思路,也为机器学习社区在自适应最近邻分类领域开辟了新的研究方向。

尽管 CARSANN 展现出显著优势,但论文也指出其计算复杂度相对较高,未来工作可能会聚焦于算法效率的优化,以及在高维数据和大规模数据集上的应用扩展。

延伸阅读

  1. 自解释多标签图神经网络:为关联证据归因而生
  2. Dandelion:球面神经模拟行星动力学的新方法
  3. 当Muon遇上任务干扰:持续学习与模型合并的谱视角
查看原文