Magnitude 发布面向智能体的自优化推理引擎
Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agents
Magnitude 发布开源推理引擎,会在用户设备上编译并调优 kernel,官方称开源模型运行速度最高比 llama.cpp 快 2 倍,其中 Metal 解码快 92%、CUDA 快 19%。
Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agents
Magnitude 发布开源推理引擎,会在用户设备上编译并调优 kernel,官方称开源模型运行速度最高比 llama.cpp 快 2 倍,其中 Metal 解码快 92%、CUDA 快 19%。