新上线8天前66 投票
Frugon：本地运行的开源工具，帮你找出哪些LLM调用可以换更便宜的模型
随着AI应用的深入，许多开发者和团队都面临着一个共同的痛点：Token消耗量激增，导致账单水涨船高。每周的配额可能两三天就用完了，而大量的调用其实并非必须使用最昂贵的旗舰模型。针对这一需求，一款名为 Frugon 的开源工具应运而生，它能够在本地分析你的 LLM 调用日志，精准识别哪些请求可以“降级”到更便宜的模型，从而在不影响核心功能的前提下显著降低成本。
Frugon 的核心理念是 本地优先、隐私安全。所有分析都在你的机器上完成，你的数据永远不会离开本地。API密钥也直接由你保管并指向自己的服务商，Frugon 不会触碰任何敏感信息。
如何工作？
Frugon 的工作流程非常简洁：
- 获取日志：Frugon 读取符合 OpenAI 请求/响应格式的 JSONL 文件。你可以通过两种方式生成这些日志：
- 使用
frugon capture代理：这是一个本地 HTTP 代理，放在你的应用和 LLM 服务商之间。所有调用都会被原样转发并记录为 JSONL 行，不会增加延迟。 - 直接写入 JSONL：如果你已经通过中间件或 SDK 回调记录了日志，只需按指定格式整理即可。
- 使用
- 运行分析：使用
frugon analyze命令指向日志文件，Frugon 会立即生成一份成本优化报告。 - 可选测量：通过
--measure参数，Frugon 可以实际使用你的 API 密钥对部分 prompt 进行采样测试，验证切换到更便宜模型后的输出质量。
核心优势
- 成本洞察：清晰展示每个模型、每次调用的花费，以及如果替换为更便宜的替代模型（如从 GPT-4 换到 GPT-3.5-turbo 或开源模型）可节省的具体金额。
- 零数据泄露：代码完全开源（MIT 协议），所有计算在本地运行。
- 零依赖安装：支持
uvx frugon analyze一键运行（无需安装），或通过pipx install frugon永久安装。 - 灵活集成：无论是通过代理捕获还是直接导入已有日志，都能快速上手。
适用场景
Frugon 特别适合以下人群：
- 个人开发者或小团队，希望控制 API 调用成本。
- 正在从原型验证转向生产部署的 AI 应用，需要精细化成本管理。
- 对数据隐私有严格要求，不愿将日志上传到第三方分析平台。
总结
Frugon 提供了一个简单而强大的解决方案，帮助开发者 “堵住”LLM 账单的漏洞。它不是简单地建议更换模型，而是通过实际日志分析给出可操作的、基于数据的建议。对于任何希望优化 AI 成本而又不牺牲太多性能的团队来说，Frugon 都是一个值得尝试的工具。
项目已在 GitHub 上开源，感兴趣的用户可以前往 GitHub 仓库 查看详情。