Orqen

Orqen 是一款原生 AI 代理，部署在你的应用与 LLM 提供商之间，专注于优化、路由和保护代理上下文。它通过动态压缩聊天历史、过滤工具模式、修剪大型工具输出，并作为代理循环的断路器，有效降低“输入令牌税”，提升性能并节省成本。

核心功能

• 动态上下文压缩：自动压缩冗长的聊天历史，保留关键信息，减少令牌消耗。
• 工具模式过滤：智能筛选不必要的工具模式，仅传递相关部分，避免冗余。
• 大型输出修剪：对工具返回的大量数据进行裁剪，防止上下文过载。
• 断路器机制：监控代理循环，防止无限循环或异常行为，保障系统稳定。

主要特性

• 成本优化：显著减少输入令牌数量，降低 API 调用费用。
• 性能提升：加快响应速度，减少延迟，提升用户体验。
• 安全可靠：通过断路器防止代理失控，增强系统鲁棒性。
• 无缝集成：作为代理层，无需修改现有应用代码，轻松部署。
• 灵活配置：支持自定义压缩策略和过滤规则，适应不同场景。

适用场景

• 对话式 AI 应用：如聊天机器人、客服系统，需处理大量历史对话。
• 多工具代理：当代理调用多个工具时，过滤和修剪输出以保持上下文清晰。
• 成本敏感型项目：对 API 调用费用有严格限制的初创公司或企业。
• 高可靠性系统：需要防止代理循环和异常行为的金融、医疗等领域。