首个在华为昇腾910B上全栈训练的1.58比特开源模型BitCPM-CANN发布
首个基于华为昇腾910B NPU全栈训练的1.58比特开源大模型BitCPM-CANN发布
ModelBest、清华和OpenBMB搞了个BitCPM-CANN,从0.5B到8B都有,全程用华为昇腾910B NPU训练,没走英伟达路线。1.58比特三元量化意味着每个权重只取三种值,内存比BF16省了约6倍,能塞进手机、电脑和车载设备里跑。基准测试成绩保住了全精度模型的95-97%,这点挺实在。
推荐理由:ModelBest、清华和OpenBMB发布BitCPM-CANN,全程用华为昇腾910B训练,1.58比特量化让内存比BF16省约6倍,基准成绩保住全精度模型的95-97%。