跳到正文
Hacker News 首页sanchitmonga22

TrnRT:面向 AWS Trainium 的开源 LLM 推理引擎

Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium

TrnRT 是面向 AWS Trainium 的开源 LLM 推理引擎,可在单台 trn2.48xlarge 上提供 OpenAI 兼容 API,首个支持的模型为 GLM-5.3-Flash(320B MoE、18B 激活、FP8、1M-token 上下文)。

读原文 ↗导出 Markdown