SheepNav
精选今天0 投票

GITCO:面向时间序列基础模型的推理时上下文优化

时间序列基础模型(TSFM)在零样本预测中常因“上下文中毒”问题而性能受损——结构异常的补丁会不成比例地吸引模型注意力,悄无声息地降低预测质量。针对这一痛点,最新研究提出了一种仅在推理阶段运行的轻量级框架 GITCO(Gated Inference-Time Context Optimization),无需更新模型参数即可提升预测精度。

问题背景:TSFM 的“上下文中毒”

主流的 TSFM 通常采用基于补丁(patch)的架构,将时间序列分割成多个小段输入模型。然而,当序列中存在异常模式(如突发噪声、缺失值或剧烈波动)时,这些异常补丁会“劫持”注意力机制,导致模型对正常模式的捕捉能力下降。这种 上下文中毒 效应在零样本场景下尤为致命,因为模型无法通过微调来适应新数据的分布特征。

GITCO 框架:Gate、Router 与 Critic 协同

GITCO 的核心思想是在不修改模型权重的前提下,通过优化输入上下文来提升预测精度。框架由三个轻量级组件构成:

  • Gate:负责判断每个补丁是否可能有害;
  • Router:决定哪些补丁需要被抑制或替换;
  • Critic:评估整体上下文质量,并反馈调节门控策略。

三者形成一个闭环,在推理时动态筛选出有害补丁并将其从输入中移除或削弱,从而净化上下文。由于 GITCO 不依赖梯度更新,因此计算开销极低,适合部署在资源受限的环境中。

实验结果:稳定提升,逼近理论上限

研究团队在 TimesFM 2.5 模型上进行了全面测试,覆盖 53 个 GIFT-Eval 数据集 并采用 K 折交叉验证。结果显示,GITCO 平均降低了 1.95% 的 MASE(平均绝对缩放误差),同时捕获了 89.9% 的理论改进上限。这意味着 GITCO 几乎实现了在不修改模型情况下能获得的最大收益。

新概念:上下文敏感度剖面

论文还引入了一个新的理论概念——上下文敏感度剖面(Context Sensitivity Profiles),用于刻画 TSFM 对推理时上下文干预的响应规律。该剖面由模型架构与数据统计结构共同塑造,为理解不同模型在不同数据上的行为提供了统一分析框架。

行业意义

GITCO 的出现为时间序列预测领域提供了一种“即插即用”的优化方案。在金融、气象、能源等对实时预测要求极高的场景中,用户无需重新训练或微调模型,只需在推理前添加一个轻量级上下文优化模块,即可显著提升零样本预测的可靠性。此外,上下文敏感度剖面的提出也为模型诊断和数据集选择提供了理论指导。

目前该论文已被 ICML 2026 Workshop on Foundation Models for Structured Data 接收。

延伸阅读

  1. 合成对比推理:为多表问答注入可解释的推理轨迹
  2. 可解释且可信的AI框架:基于OAI数据的膝骨关节炎结构-疼痛关联大规模纵向研究
  3. SentinelBench:专为长时间监控任务设计的AI智能体基准测试
查看原文