Skip to content
Hacker News front pagekmavm

How many GPUs is 1M/B/T tokens?

Cedana 的计算器估算,Llama 3.3 70B 在一个月(30 天)内处理 1 trillion tokens 约需 367 张 H100,估算范围为 211–853 张。

Read the original ↗Export Markdown