新上线今天0 投票
流式系统中事件触发LLM调用的不确定性感知顺序决策规则
事件触发LLM调用：从经验驱动到理论驱动
随着流式推理管线的广泛应用，轻量级快速模型与**大语言模型（LLM）**的搭配已成为一种主流架构。轻量模型负责高频、低成本的初步处理，而LLM则在关键节点提供深度的语义理解。然而，一个核心问题始终悬而未决：何时应该调用LLM？ 现有实践多依赖经验规则或简单阈值，缺乏系统的理论支撑。
近日，一篇被 ECML PKDD 2026 接收的论文《Uncertainty-Aware Sequential Decision Rules for Event-Triggered LLM Invocation in Streaming Systems》对此进行了正式的理论建模。作者将LLM调用时机问题转化为基于风险的序列停止问题：当观测历史的风险泛函超过某个阈值时，触发策略便会“决定”调用LLM。
理论贡献：六项严格证明
论文在该框架下证明了六项重要结论：
- 最小事件间隔：排除触发“抖动”（即短时间内频繁触发）的可能，保证系统稳定性。
- 阈值策略的最优性：通过平滑粘贴条件证明阈值策略在风险框架下是最优的。
- 近似SPRT保证：在参数估计条件下，近似序列概率比检验（SPRT）仍具有统计保证。
- 遗憾界：对于平稳流，遗憾界为 O(√(T log T))；当存在 C_T 个变化点时，遗憾界扩展为 O(√((C_T+1) T log T))，意味着算法能自适应流分布变化。
- 自适应阈值收敛：在线梯度下降法调整阈值时，收敛速度为 O(1/√T)。
- 校准-漏报率转移不等式：将校准性能与漏报率关联，为实际调优提供理论依据。
值得注意的是，事件触发、最优停止、SPRT、CUSUM、贝叶斯触发等经典触发策略均可视为该框架的特例，显示出框架的统一性。
实验验证：在CMAPSS数据集上的实战
论文在**涡扇发动机退化数据集（CMAPSS）**上进行了实证，并引入真实的LLM调用。主要发现包括：
- 次线性遗憾：所有有原则的触发策略的α值均小于1，验证了理论遗憾界。
- 高诊断质量：在1600次LLM诊断中，92.9% 的诊断达到基础评分≥0.75（满分1.0）。
- 风险函数设计：基于异常分数的风险函数在帕累托AUC指标上比替代方案高出一个数量级。
实验还对比了六种基线方法，包括RouteLLM风格的路由器和上下文赌博机，并分析了成本敏感性和LLM失效模式。
行业启示
这项研究将LLM调用问题从工程经验提升到理论层面，为构建成本高效、性能可控的流式AI系统提供了坚实依据。对于依赖LLM进行实时分析（如金融交易监控、工业异常检测、对话系统）的团队，该框架可直接指导系统的触发策略设计，在保证准确性的同时显著降低推理成本。
未来，随着LLM调用成本持续下降，该框架的自适应阈值和变化点检测能力将使其在动态环境中更具吸引力。