跳到正文
r/LocalLLaMA

苹果在 WWDC 发布了 CoreAI,一个给自家芯片用的端侧推理引擎,用来替代 CoreML

Apple announced new on device inference engine for Apple Silicon

苹果在 WWDC 上公布了 CoreAI,定位是 CoreML 的继任者,专门在苹果芯片上跑模型推理。模型得先用 Python 脚本转一道才能用,目前支持的模型列表主要是 2025 年年中左右的版本。帖子正文没给出任何性能数据,速度、内存占用、功耗这些关键指标一概没提,所以实际跑起来快不快、省不省资源还不好说。另外原帖链接返回了 403,说明 Redd...

推荐理由:帖子本身信息很薄:CoreAI 接棒 CoreML、需要 Python 转换脚本、模型支持范围有限,这些是事实。但吞吐量、延迟、功耗一概没提,原帖链接还返回了 403,说明来源本身就不完整。苹果的本地推理引擎变动确实值得关注,但这点先别太激动,因为验证不了实际省不省资源。

读原文 ↗导出 Markdown