Skip to content
AI HOT · Products

蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

蚂蚁集团与 vLLM 社区开源 Humming,以统一架构支持稠密模型和 MoE 的多种量化格式,覆盖 Turing 及之后的 NVIDIA GPU 和平头哥真武 810E。

Read the original ↗Export Markdown