跳到正文
Hacker News 首页

把 35KB 的超长提示词从 OpenAI/Anthropic 搬到本地模型,踩坑记录

Notes on gotchas while migrating 35kb preprompts from Opus to self-hosted Ollama

作者想把安全测试用的超长提示词(35KB)从云端大模型搬到本地跑,硬件是一台 128GB 内存的 AMD Ryzen AI MAX+ 395,配了 27B 参数的开源模型。结果在云端跑得好好的提示词,到本地全崩了。文章前半段花了不少篇幅解释动机:他认为 OpenAI 和 Anthropic 会拿用户的对话记录去训练模型,而且它们的安全过滤器把正经的漏洞...

读原文 ↗导出 Markdown