商汤绝影把32B总参、3B激活的模型塞进车机,跑分压过GPT-5.4和Opus 4.6
商汤绝影发布了一个叫Sage的车载端侧多模态模型,总参数32B,但每次推理只激活3B参数。它在PinchBench上拿了94%,比Claude Opus 4.6的93.3%和GPT-5.4的90.5%都高。模型跑在Nvidia OrinX上,首字延迟约0.5秒,单token生成约0.03秒,吞吐80 tok/s。
推荐理由:商汤绝影发布车载端侧多模态模型Sage,32B总参数每次只激活3B,在PinchBench上以94%超过Claude Opus 4.6和GPT-5.4,并给出OrinX上的延迟与吞吐数据。