Soup CLI

Soup CLI 是一款专为低显存环境设计的命令行工具，让您能够在仅有 4 GB 显存的笔记本电脑 GPU 上轻松微调 8B 参数级别的大语言模型。它通过创新的内存管理技术，打破了传统微调对高显存的依赖，让高性能模型训练不再遥不可及。

核心功能

Soup CLI 的核心优势在于其独特的 LoRA 内存优化策略。在微调过程中，LoRA 方法保持基础模型冻结（只读），因此 Soup CLI 将基础模型存储在系统 RAM 中，并按需将每个解码器层流式传输到 GPU。这样，峰值显存占用仅为一层模型的规模，而非整个模型。实测数据显示，在配备 4 GB 显存的 RTX 3050 Laptop GPU 上，Llama-3.1-8B 模型的训练速度可达 119.6 tokens/秒，峰值显存占用仅 3.32 GB。

主要特性

• 极低显存占用：通过层流式传输技术，将显存需求降至最低，4 GB 显存即可训练 8B 模型。
• 一键配置：仅需一个 YAML 文件即可完成全部配置，配合单条命令即可启动训练。
• 多种训练方法：支持 SFT、DPO、GRPO、KTO 等主流对齐算法，满足不同任务需求。
• 完整工具链：集成评估、门控和导出功能，提供从训练到部署的全流程支持。
• 开源透明：基于 Apache-2.0 协议开源，所有性能数据均公开，包括实验中的测量值，确保可复现性。

适用场景

Soup CLI 特别适合资源受限的个人开发者、研究者和教育机构。无论是进行大模型的快速原型验证、教学演示，还是在小规模硬件上部署定制化模型，Soup CLI 都能提供高效、低成本的解决方案。它让大模型微调不再是高端 GPU 的专属特权，真正实现了技术民主化。