精选11天前0 投票
SkillEffect：为内存受限的智能体工具引入检查式降级运行时
SkillEffect 是一篇来自 arXiv 的新论文（编号 2608.17007），提出了一种名为 SkillEffect 的检查式降级运行时，旨在解决语言模型在实例化智能体技能（Agent Skills）时可能产生的内存超限问题。
问题背景
随着大语言模型（LLM）驱动的智能体（Agent）越来越多地调用外部工具，模型需要将技能描述转化为具体程序。然而，即使程序逻辑正确，也可能因为加载整个输入数据而超出单次工具调用的内存限制。例如，处理大型电子表格或数据集时，一次操作可能尝试将整个文件读入内存，导致崩溃或性能下降。
SkillEffect 的核心机制
SkillEffect 采用 检查式降级（checked lowering） 架构，在授予执行权限之前，由一个独立的检查器根据提交的程序和不可变输入重建每个降级过程。其关键组件包括：
- 可恢复源关系：每个关系插件提供源识别器、输入事实提取器、有界 IR 构造器、arena 边界函数和后置条件。
- 共享运行时：提供检查选择、有界虚拟机执行、原子容量租借和分阶段发布等通用机制。
- 插件化设计：不同计算类型通过审计过的关系插件接入，而调度、资源控制、执行和发布机制则跨插件共享。
实验结果
论文在六个操作符家族上进行了评估，结果显示有界访问显著降低了峰值内存使用，并提高了在外部固定容量下的任务完成率。此外，六个插件在五种执行模式（如流式归约、有界堆 Top-k）中实现了相同的契约。XLSX 接入研究和 Top-k 扩展表明，新关系和新的保留状态模式可以复用相同的信任边界，而检查器接受了所有评估的合法配置，并拒绝了所有对抗性提议。
意义与展望
SkillEffect 展示了一种架构，可以在智能体工具分发时强制实施异构的注册内存关系。这为构建更可靠、更安全的 LLM 驱动的工具调用提供了新思路，尤其适用于资源受限的环境，如边缘设备或大型数据处理场景。未来的工作可能包括扩展更多关系插件，以及优化检查器的性能。
