telemetry.dev

telemetry.dev 是一款专为 AI 代理打造的 LLM 可观测性平台，帮助开发者深入洞察代理的每一次运行。

核心功能

平台将 AI 代理的每次运行呈现为一条完整的追踪记录，其中每个模型调用和工具调用都是一个独立的跨度（span），并附带持续时间、令牌消耗、成本以及错误信息。提示词和评估也基于相同的追踪数据，让您能够在不重新部署的情况下修改提示词，并在数据集上运行测试，与生产环境的评分进行对比。

主要特性

• 全链路追踪：以单一追踪视图展示代理运行全过程，模型调用与工具调用细节一目了然。
• 动态提示词管理：无需部署即可修改提示词，并直接在数据集上评估效果，与生产数据对比评分。
• 智能告警：针对错误、成本激增和代理循环等异常情况实时告警，保障系统稳定。
• 多语言 SDK 支持：提供 TypeScript 和 Python SDK，并兼容 OpenTelemetry 导出器，轻松集成现有技术栈。

适用场景

适用于需要监控和优化 AI 代理性能的团队，尤其是在复杂代理工作流中需要追踪成本、调试错误和评估提示词效果的场景。无论是开发调试还是生产运维，telemetry.dev 都能提供关键的可观测性支持。