
Repath
repath.earth
基于质量的提示与模型金丝雀发布
7天前制作者:Tejassri Avinasha
关于 Repath
Repath 是一款专注于 AI 提示与模型变更安全发布的工具,通过金丝雀发布机制,让你在修改提示词或切换模型时不再靠猜。
核心功能
Repath 将真实流量的一小部分导向新版本,同时利用 LLM 评判器对同一标准下的新旧版本进行评分。控制器根据评分自动推进发布(5% → 25% → 100%)或在质量下降时自动回滚至 0%,并记录最差回答及评判原因。
主要特性
- 无缝集成:只需在现有 SDK(OpenAI、Anthropic、Gemini、OpenRouter 或 Vercel AI Gateway)中更改 base-URL,无需重构代码。
- 智能金丝雀发布:自动分阶段引流,从 5% 逐步扩大至全量,确保变更安全。
- 自动质量评判:LLM 评判器对两个版本进行同标准评分,客观比较效果。
- 自动回滚:一旦质量不达标,控制器立即回滚至 0%,避免影响扩大。
- 详细日志:记录最差回答及评判理由,助力问题排查与优化。
- 低开销:网关中位开销仅约 0.4 毫秒,几乎不影响性能。
适用场景
适用于任何需要频繁调整提示词或切换模型的 AI 应用团队,尤其适合对质量要求严苛的生产环境,帮助团队在快速迭代中保持稳定。