Torrix

Torrix 是一款自托管的 LLM 可观测性工具，专注于记录和分析每一次 AI 调用的性能与成本。与大多数将提示词上传至云端的产品不同，Torrix 完全运行在你的服务器上，确保敏感数据永不离开你的基础设施。

核心功能

只需在你的 Python 代码中添加两行代码，或通过 HTTP 代理路由任何客户端请求，无需修改现有代码。Torrix 会自动记录每一次 AI 调用的 Token 用量、成本、延迟 以及完整的 提示词追踪。它兼容 OpenAI、Anthropic、Gemini、Groq、Azure、Mistral、SAP AI Core、n8n 等主流 LLM 服务，以及任何 HTTP API。

主要特性

• 零代码侵入：通过代理或简单集成，无需重写代码即可开始监控。
• 全面可观测：记录每次调用的 Token、成本、延迟和完整提示词，支持调试与优化。
• 数据隐私优先：所有数据存储在你的服务器上，社区版永久免费。
• 广泛兼容：支持 OpenAI、Anthropic、Gemini 等主流模型及自定义 HTTP API。
• 实时日志：每次调用即时记录，提供仪表盘查看历史趋势。

适用场景

Torrix 适用于需要 成本控制、性能监控 和 数据隐私 的团队，例如企业级 LLM 应用开发、AI 代理调试、以及多模型成本对比分析。无论是个人开发者还是大型组织，Torrix 都能帮助你优化 AI 投入产出比。