Skip to content
Hacker News front pageanerli

Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agents

Magnitude 发布开源推理引擎,会在用户设备上编译并调优 kernel,官方称开源模型运行速度最高比 llama.cpp 快 2 倍,其中 Metal 解码快 92%、CUDA 快 19%。

Read the original ↗Export Markdown