NEXUS：为工具调用型LLM智能体构建结构化运行时安全监控
概述
随着大型语言模型（LLM）智能体越来越多地执行高影响操作（如调用外部工具、执行代码或操作数据库），运行时安全监控变得至关重要。近日，研究团队提出 NEXUS（Neural EXecution Utility and Safety），一个结构化计划安全监控器，旨在为工具调用型LLM智能体提供细粒度的运行时安全保障。
核心机制
NEXUS的核心是一个形式化干预策略，能够对智能体的每个待执行动作给出四种响应：允许（allow）、阻止（block）、请求确认（request confirmation）或请求修改（request revision）。这种四类干预机制比简单的“放行/拦截”二元决策更为精细，能够在安全与效率之间取得更好的平衡。
NEXUS的设计融合了多种安全检测手段：
- 确定性安全规则：基于预定义的黑名单、白名单或模式匹配，快速拦截已知危险操作。
- 参数级检查：对工具调用的每个参数进行逐项审查，例如检查文件路径是否越界、API参数是否合规。
- 校准的逻辑回归风险评分：通过一个轻量级模型对动作的整体风险进行量化评估，并据此实现分级升级（graded escalation），即根据风险水平自动选择不同的干预动作。
性能表现
在包含128个实例的合成基准测试上，NEXUS取得了 F1分数0.949，四类干预准确率达到 0.6406，相比纯规则方法（rule-only）的干预选择准确率提升了 27.3个百分点。在真实场景基准测试中：
- R-Judge：F1分数为0.861（纯规则为0.849），有所提升。
- AgentHarm：由于威胁模型限制，与纯规则持平。
- IPI：在99%控制允许率下实现了 0%的攻击成功率（ASR）。
此外，团队还构建了 NEXUS-Stress 基准，专门测试无规则辅助时的细粒度干预路由能力。在该基准上，NEXUS达到F1分数0.881，表明精细化的干预路由仍是具有挑战性的问题。
效率与实用性
NEXUS的延迟极低，中位延迟仅 0.205毫秒，对典型智能体循环的开销低于 0.1%，几乎可以忽略不计。研究团队已公开了代码、基准测试以及校准后的风险评分器，便于社区复现和进一步研究。
行业意义
当前，LLM智能体正从对话助手转向自主执行复杂任务（如自动化运维、金融交易、医疗辅助决策）。NEXUS提供了一种 轻量级、可解释且可扩展 的运行时安全方案，其“允许—阻止—确认—修改”的四类干预策略为行业提供了新的安全设计范式。与完全依赖规则或端到端神经模型的方法相比，NEXUS兼顾了确定性规则的可靠性和机器学习模型的灵活性，尤其适合对可解释性要求较高的企业级应用。
小结
NEXUS代表了LLM智能体安全监控领域的一次务实进步——它不追求绝对完美的防护，而是通过结构化、分级的干预机制，在安全与可用性之间找到平衡点。随着智能体自主性的提升，类似NEXUS的运行时安全系统将成为AI基础设施的关键组成部分。