跳到正文
Hacker News 首页

Soup:一个命令就能在 4GB 显存的笔记本上微调 8B 模型

Show HN: Fine-tune an 8B model on a 4 GB laptop GPU

Soup 把大语言模型的微调流程打包成一个命令行工具,最低只要 4GB 显存就能跑。它底层用了 QLoRA(一种省显存的微调方法)和 Unsloth 加速,支持 Llama、Mistral、Qwen 这些主流的 8B 模型。你准备好 JSONL 格式的数据集,写一个 YAML 配置文件,敲一句 `soup run` 就开始训练了。训练完还自带一个 St...

推荐理由:一个把 QLoRA 微调压到 4GB 显存、一句命令跑通的工具,实用性和知识性都到位,正好卡在 featured 门槛。但项目太新,没有社区验证或真实场景的 benchmark,争议性为零。如果后续有人贴出训练效果对比或社区开始用起来,分数会更有支撑。

读原文 ↗导出 Markdown