Edge0 开源 Edge0-145B 和 Edge0-120B,支持个人电脑本地推理
Edge0 开源 Edge0-145B、Edge0-120B 及统一推理框架和部署工具,支持在适配的个人电脑上运行编码、推理与 AI 智能体任务。内部测试报告 Edge0-145B 峰值内存为 29GB、预填充速度为 1,100+ tokens/s、解码速度为 80+ tokens/s,通过专家矩阵共享、分层加载和 CPU/GPU 协同执行降低运行负担。
推荐理由:Edge0 将模型架构与推理引擎联合设计,通过专家矩阵共享、分层加载和异构调度降低大模型本地运行的内存与数据搬运负担。