新上线22天前0 投票
数据流中的概念指纹识别：结合监督与非监督元信息的新框架
随着实时数据采集能力的增强，数据流正变得越来越普遍。处理数据流时，一个主要挑战是概念漂移——即数据分布随时间发生变化，例如由于环境条件改变所导致。适应概念漂移的一个核心思路是表示概念（即具有相似行为的平稳期）。通过测试概念表示与观察窗口的相似性，我们可以检测到向新概念或先前出现过的重复概念的漂移。
概念表示通常使用元信息特征来构建，这些特征值描述了概念行为的各个方面。然而，研究发现，先前提出的概念表示方法往往依赖于少数几个元信息特征，导致这些表示常常无法区分不同概念，使系统在面对概念漂移时变得脆弱。
为此，研究人员提出了FiCSUM——一个通用框架，用于在指纹中表示概念的监督和非监督行为。这里的指纹是一个包含许多不同元信息特征的向量，能够唯一识别更多概念。FiCSUM采用动态加权策略，学习哪些元信息特征在给定数据集中描述了概念漂移，从而允许同时使用多样化的元信息特征集。
在11个真实世界和合成数据集上的实验表明，FiCSUM在准确性和建模底层概念漂移方面均优于现有最先进方法。这一进展为处理动态数据环境中的概念漂移问题提供了更强大的工具，有望提升机器学习系统在流数据场景下的适应性和鲁棒性。
关键要点
- 概念漂移是数据流处理中的核心挑战，指数据分布随时间变化。
- FiCSUM框架通过结合监督与非监督元信息，构建能唯一识别概念的指纹。
- 动态加权策略使系统能自适应地选择关键特征，提升概念区分能力。
- 在多项数据集测试中，FiCSUM在准确性和漂移建模方面均表现优异。