跳到正文
r/LocalLLaMA

Reddit 网友在 6GB 显存的笔记本 4050 上跑了 20 个小模型的速度对比

Benchmarks of 20 small LLMs on a 6GB RTX 4050

这篇帖子本身被 Reddit 的安全策略拦住了,正文内容没抓到,只留下一个“被网络安全屏蔽”的提示。从标题和已有的英文摘要看,作者用 LM Studio 的接口测了 20 个小模型,统一在 6GB 显存的 RTX 4050 上跑,每个模型在 1k、8k、32k 三种上下文长度下各测了 5 次速度。

推荐理由:Reddit 网友用 LM Studio 接口在 6GB 显存的 RTX 4050 上测了 20 个小模型,每个模型在 1k、8k、32k 三种上下文长度下各跑 5 次,给出低显存笔记本运行小模型的速度参考。

读原文 ↗导出 Markdown