Mac LLM 计算器估算不同 Mac 能运行哪些模型及生成速度
Show HN: Which Mac runs which LLM, and how fast
Mac LLM 计算器根据模型权重、统一内存和内存带宽,估算不同 Mac 能否运行指定模型及其生成速度。计算器预计,64 GB 的 M4 Pro 可运行 Q4_K_M 量化的 Llama 3.3 70B,生成速度约为 5.7 tokens/sec。
Show HN: Which Mac runs which LLM, and how fast
Mac LLM 计算器根据模型权重、统一内存和内存带宽,估算不同 Mac 能否运行指定模型及其生成速度。计算器预计,64 GB 的 M4 Pro 可运行 Q4_K_M 量化的 Llama 3.3 70B,生成速度约为 5.7 tokens/sec。