Skip to content
Hacker News front pagesanchitmonga22

Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium

TrnRT 是面向 AWS Trainium 的开源 LLM 推理引擎,可在单台 trn2.48xlarge 上提供 OpenAI 兼容 API,首个支持的模型为 GLM-5.3-Flash(320B MoE、18B 激活、FP8、1M-token 上下文)。

Read the original ↗Export Markdown