SheepNav
新上线18天前74 投票

Torrix:一款无需Postgres和Redis的自托管LLM可观测性工具

简介

在AI应用落地过程中,LLM可观测性已成为运维团队的核心需求——追踪每次请求的token消耗、成本、延迟、完整提示轨迹,甚至推理过程和PII脱敏。然而,现有自托管方案往往依赖Postgres、Redis等重型基础设施,配置成本让许多团队望而却步。

Torrix 正是为解决这一痛点而生。它是一款轻量级、自托管的LLM可观测性工具,唯一依赖仅是Docker,无需额外数据库或缓存服务。

核心能力

Torrix 支持追踪所有主流LLM提供商,包括 OpenAI、Anthropic、Google Gemini、Groq、Mistral、Azure OpenAI、DeepSeek、Perplexity、Fireworks、Together AI、Cohere、HuggingFace、Replicate、Ollama,以及任何HTTP端点。其核心功能包括:

  • 完整请求追踪:记录每次LLM调用的token数、成本、延迟、完整提示轨迹
  • 推理过程捕获:支持捕捉推理过程中的中间token
  • PII脱敏:自动识别并遮盖敏感个人信息
  • 代理模式:通过Torrix代理转发请求,自动记录日志

所有数据保留在本地,不离开你的机器,确保隐私安全。

部署体验

Torrix 的部署极其简单:

curl -o docker-compose.yml https://raw.githubusercontent.com/torrix-ai/install/main/docker-compose.community.yml
docker compose up

启动后访问 http://localhost:8088,创建账户并获取API Key,即可开始发送LLM请求进行监控。

项目还提供了一个在线演示(demo.torrix.ai),无需注册即可体验,数据为预置的只读样本。

行业背景

当前,LLM应用正从实验阶段走向生产部署,可观测性工具成为保障可靠性的关键。但传统方案如 LangfuseHelicone 等虽然功能强大,却要求Postgres、Redis等基础设施,对于小型团队或快速原型阶段而言,启动成本较高。

Torrix 的差异化在于极简架构:仅需Docker,即可获得完整的可观测能力。这降低了团队尝试的门槛,尤其适合:

  • 个人开发者或小团队快速搭建监控
  • 集成到现有CI/CD流程中
  • 需要数据完全本地化的隐私敏感场景

小结

Torrix 以“零基础设施负担”为设计哲学,为LLM可观测性提供了一个轻量级选择。如果你正在寻找一款开箱即用、自托管、无需Postgres/Redis的监控方案,值得一试。

项目地址:github.com/torrix-ai/install

延伸阅读

  1. NumLeak:公开数值基准竟成基础模型“潜标签”,前沿大模型记忆能力惊人
  2. MADQI:面向AIS船舶异常检测的无监督学习新评估指标
  3. 突破 fMRI 数据瓶颈:双谱流匹配模型生成高保真脑功能时序数据
查看原文