笔记本跑7000亿参数GLM:没显卡也行,把SSD当显存用
笔记本跑7000亿参数GLM!无GPU也行? SSD当显存用火爆GitHub
一个GitHub项目火了:在没GPU的笔记本上跑700亿参数的GLM模型。办法是把SSD当显存用,用存储换速度。正文没披露具体延迟和精度损失,但思路很直接——内存不够硬盘凑。对没显卡的开发者来说,是个低成本试大模型的办法。
笔记本跑7000亿参数GLM!无GPU也行? SSD当显存用火爆GitHub
一个GitHub项目火了:在没GPU的笔记本上跑700亿参数的GLM模型。办法是把SSD当显存用,用存储换速度。正文没披露具体延迟和精度损失,但思路很直接——内存不够硬盘凑。对没显卡的开发者来说,是个低成本试大模型的办法。