MicroLLM Lab:浏览器里跑7个小模型,25M到360M参数,零服务器成本
MicroLLM Lab – Try 7 tiny LLM's in the browser
这个项目让你直接在浏览器里加载和运行7个小语言模型(25M到360M参数),靠WebGPU加速,数据不出设备,没有服务器费用。适合做查询分类、垃圾过滤、意图提取这类边缘任务,延迟能压到10毫秒以内。模型包括PetitGPT、SmolLM2、MiniMind2和GPT-2。你可以聊天、跑基准测试(基于正则表达式),还能生成一张性能证书。注意:测试只检查简...