新上线9天前0 投票
长记忆的代价：序列模型的状态、上下文与稳定性复杂度
长记忆的代价：序列模型的状态、上下文与稳定性复杂度
arXiv:2610.08816 最新论文《The Cost of Long Memory: State, Context, and Stability Complexity in Sequence Models》直接切入序列模型的一个核心资源问题：给定一个预测记忆律，模型需要多少状态、上下文或动力学临界性才能准确预测？
核心发现：记忆越强，代价呈平方对数增长
论文针对代数衰减的预测记忆（即长程依赖按幂律衰减）证明：
- 对于指数模式和有限状态模式，最优 r-模式预测误差以 e^{-Θ(√r)} 衰减；
- 因此，要将预测误差降到 τ，所需状态或模式数为 r = Θ(log²(1/τ))。
这意味着，长记忆的代价是状态数的平方对数增长。此前“记忆诅咒”类结果已表明稳定循环模型的广泛局限，而这项研究在预测风险框架下证明上下界匹配，从而确定了该目标下的最优资源指数。
分数长记忆改变几何结构
论文进一步揭示，真正的分数长记忆会改变预测几何本身：
- 预测误差在分数积分后度量；
- 从长度 L 的有限上下文预测，领先阶恰为 1/L；
- 固定分数强度 d 下，状态复杂度仍遵循平方对数律；
- 在短记忆边界附近，作者识别出 d² 和 d⁴ 尺度，并给出中间区域的一致构造律。
非线性循环与稳定性
对于均匀收缩状态动力学的非线性上下文循环，论文推导出指数第一混沌包络，并给出将预测精度与收缩裕度关联的显式必要条件。特别地，在代数目标上实现零预测误差，会迫使循环定量地趋向临界性——这是必要条件，但并非充分条件。有限样本的 KL 散度计算进一步将预测几何与统计信息联系起来。
实验验证
作者用收缩状态空间模型、门控循环网络和注意力模型进行定理匹配实验，结果复现了状态与稳定性的预测。
启示
这项研究为理解 Transformer、RNN 等序列架构的记忆容量与稳定性权衡提供了理论标尺：长程依赖不是免费的，模型必须付出状态数或临界性代价。对于设计长上下文模型、优化记忆机制的研究者和工程师，这提供了可量化的资源下界。
