跳到正文
热点事件持续更新

蚂蚁集团与vLLM社区开源Humming

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

10月21日,AI HOT 报道,蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming。该库采用统一架构,支持稠密模型和 MoE 模型的多种量化格式,将不同模型类型与量化格式纳入同一架构支持范围。硬件覆盖方面,Humming 支持 NVIDIA Turing 架构及之后的 GPU,同时覆盖平头哥真武 810E。目前报道披露的进展为内核库开源及上述模型、量化格式和硬件支持范围。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. AI HOT · 产品
    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

    蚂蚁集团与 vLLM 社区开源 Humming,以统一架构支持稠密模型和 MoE 的多种量化格式,覆盖 Turing 及之后的 NVIDIA GPU 和平头哥真武 810E。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。