LLMTrace

LLMTrace 是一款自托管的 Go 代理工具，专为解决 LLM 调用成本追踪的痛点而设计。大多数可观测性工具只能告诉你成本飙升了，却无法指出是哪次部署导致的。LLMTrace 通过拦截你的 Anthropic/OpenAI 调用，将每次请求的成本、用户信息和部署 SHA 记录到你自己的 Postgres 数据库中。当账单异常时，你可以直接定位到具体的代码提交，实现精确的成本归因。

核心功能

• 请求拦截与日志：作为 Go 代理，LLMTrace 无缝嵌入你的 API 调用流程，自动捕获并记录每次请求的详细信息。
• 成本与部署关联：将每次调用的成本与部署 SHA 绑定，让你清晰看到每次代码变更对费用的影响。
• 自托管与数据安全：所有数据存储在你的 Postgres 数据库中，无需依赖 SaaS 服务，确保敏感数据不离开你的基础设施。

主要特性

• 快速部署：通过 docker-compose 可在 5 分钟内完成部署，即刻开始记录。
• 精确归因：直接关联成本与代码提交，告别模糊的账单分析。
• 用户级追踪：记录每次请求的用户信息，支持更细粒度的成本分析。
• 开源透明：代码完全开源，你可以审计、修改和定制功能。
• 轻量高效：Go 语言编写，性能开销极低，不影响业务调用。

适用场景

• 成本敏感型团队：需要严格控制 LLM 调用成本，快速识别异常波动。
• CI/CD 集成：将 LLMTrace 集成到部署流程中，每次发布后自动监控成本变化。
• 安全合规要求高：不愿将数据发送到第三方 SaaS，需要完全掌控数据存储。