SentinelBench：专为长时间监控任务设计的AI智能体基准测试
AI智能体正越来越多地被部署到需要持续数分钟、数小时甚至更长的任务中。然而，当前智能体的默认行为模式是“持续行动”——不断调用工具、刷新页面、搜索替代方案或强行推进进程。对于许多长时间运行的任务，这种策略并不合适，更好的方法是“持续关注”：智能体应监控环境，在外部事件使进展成为可能时及时响应，而不是在等待中浪费资源。
为衡量这类任务上的进展，微软研究院联合多位学者推出了 SentinelBench，一个面向时间演化监控任务的开源基准测试。该基准包含 100个任务，覆盖 10个合成网络环境，包括电子邮件、日历、金融、专业社交和娱乐等场景。每个环境都提供实时网页界面，并回放一系列脚本化的事件序列，要求智能体在页面状态动态变化时进行导航和推理。
SentinelBench 不仅衡量任务完成情况，还评估 反应时间 和 资源消耗，揭示了响应速度与成本之间的权衡。研究团队在三种模型和两个浏览器智能体框架上进行了测试，建立了性能基线，并展示了智能体设计选择如何显著影响关键指标。结果表明，SentinelBench 能够有效区分不同智能体行为之间的实质性差异。
为什么需要“监控型”智能体？
当前大多数 AI 智能体框架都基于“行动-观察”循环：智能体不断执行动作，直到任务完成。但在许多真实场景中，任务进展取决于外部事件——例如等待邮件回复、文件审批完成或系统状态变更。持续行动不仅浪费计算资源，还可能导致错误决策。SentinelBench 提出的“监控型智能体”模式，强调在事件发生前保持静默，只在必要时介入，更符合人类操作员的工作方式。
基准设计亮点
- 动态环境：每个环境模拟真实网页应用，事件按脚本触发，智能体必须实时感知变化。
- 多维度评估：除了成功率，还记录反应时间（从事件发生到智能体响应）和 API 调用次数等资源消耗指标。
- 开源可复现：全部代码和场景已开源，便于社区扩展和对比。
初步实验结果
论文报告了 GPT-4o、Claude 3.5 Sonnet 等模型在不同框架下的表现。结果显示，当前主流智能体在监控任务上普遍表现不佳——它们倾向于过早行动或过度刷新，导致反应时间慢且成本高昂。SentinelBench 为优化智能体的“等待与响应”策略提供了量化依据。
未来方向
随着 AI 智能体从一次性任务转向持续性工作流，监控能力将成为核心能力之一。SentinelBench 填补了这一领域的评估空白，有望推动更高效、更经济的长时间运行智能体设计。