跳到正文

端侧 AI

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

23 条精选相关主题部署工程开源生态模型发布

最新精选

第 1–20 条 · 共 23 条

11月13日星期五

Hacker News 首页

Edge0 开源 Edge0-145B 和 Edge0-120B,支持个人电脑本地推理

Edge0 开源 Edge0-145B、Edge0-120B 及统一推理框架和部署工具,支持在适配的个人电脑上运行编码、推理与 AI 智能体任务。内部测试报告 Edge0-145B 峰值内存为 29GB、预填充速度为 1,100+ tokens/s、解码速度为 80+ tokens/s,通过专家矩阵共享、分层加载和 CPU/GPU 协同执行降低运行负担。

推荐理由:Edge0 将模型架构与推理引擎联合设计,通过专家矩阵共享、分层加载和异构调度降低大模型本地运行的内存与数据搬运负担。

TechCrunch · AI

黄仁勋被免去 Nvidia CEO 职务可能如何损害 AI 行业:五个方面

黄仁勋被免去 Nvidia CEO 职务可能影响开放权重模型、智能体安全、AI 工具观、AI PC 和数据中心融资,这是 TechCrunch 分析的五个方向。

推荐理由:黄仁勋推动了开放权重模型、智能体安全与数据中心融资,文章分析其离职可能使这些方向失去重要的行业倡导力量。

11月4日星期三

The Verge · AI

Apple 全面押注 AI,通过自有与第三方技术拓展收入

Apple 正通过硬件销售、第三方 AI 应用订阅抽成及计划中的自有 AI 服务扩容收费,把 AI 使用转化为收入。上季度资本支出为 $2.2 billion,低于 Amazon 的 $77.3 billion 和 Alphabet 的 $51.4 billion,这些数字均为公司整体资本支出,并非仅限 AI。

推荐理由:Apple 通过硬件销售、应用订阅抽成和自有 AI 服务扩容收费获利,其资本支出规模远低于投入基础设施的同行。

11月3日星期二

Google 博客 · Gemini

Google 回顾 2026 年 10 月 AI 更新,涵盖 Gemini 4 与 Genie 4

Google 回顾 2026 年 10 月 AI 更新,重点包括 Gemini 4 Argon 全球推出、Gemini 4 Carbon 公布及世界模型 Genie 4。

推荐理由:Google 将 Argon 全球开放与 Carbon 限定测试分开推进,两款前沿模型的使用入口与安全测试阶段有明确差异。

10月31日星期六

The Verge · AI

Sam Altman 称 RAM 放在数据中心比放在个人电脑里更好

OpenAI CEO Sam Altman 在 Cheeky Pint 播客中表示,RAM 供应紧张时应优先提高云端利用率,将有限内存分散在个人电脑中并不理想。

推荐理由:Sam Altman 用个人电脑内存利用率偏低解释云端集中配置的理由,将本地推理争论放在全球 DRAM 供应受限的背景下。

10月29日星期四

Google 博客 · Gemini

Google 与 XREAL 推出 Android XR 有线眼镜 XREAL AURA,支持办公、观影与游戏

Google 与 XREAL 正式推出搭载 Android XR 的有线 XR 眼镜 XREAL AURA,Gemini 可理解现实视野及屏幕内容并提供帮助。眼镜重量低于 95 克、视场角为 70 度,通过线缆连接便携计算模块,支持多窗口应用及 USB-C 笔记本屏幕镜像,Gemini 还能高亮视野中的关注对象。

推荐理由:XREAL AURA 将 Gemini 接入现实视野与笔记本窗口,让用户在多窗口办公时直接围绕眼前内容获取帮助。

The Decoder

Google 向第三方 AI 智能体开放 Android 开发环境,并推出新 Gemini API

Google 在今年 Android Dev Summit 推出 Android Studio Rabbit 2 的 BYOA 功能,并发布面向端侧智能体和应用连接的新 API。

推荐理由:Google 将第三方编码智能体接入 Android Studio,并开放应用工具调用接口,让智能体能直接使用开发环境工具与应用功能。

10月21日星期三

AI HOT · 产品

Perplexity Computer 现可在 Mac 上完全本地运行,无需云端推理

Perplexity CEO Aravind Srinivas 宣布,Perplexity Computer 现可在 Mac 上完全本地运行,无需云端推理或 WiFi。模型和智能体均在本机运行,可操作 Mac 原生应用和本地文件,敏感数据不必发送到云端。该功能现已在 Perplexity Mac 应用中可用。

推荐理由:Perplexity Computer 将模型和智能体放在 Mac 本机运行,操作原生应用和本地文件时敏感数据不必发送到云端。

10月16日星期五

AI HOT · 产品

NVIDIA RTX Spark 笔记本今日开售,最高配备 128GB 统一内存

NVIDIA RTX Spark 笔记本今日全球开售,最高提供 128GB 统一内存和 1 petaflop FP4 AI 性能,起价 $2,599。产品结合 Blackwell RTX GPU、Grace CPU 与 CUDA,支持本地运行大语言模型和 AI 智能体,并提供智能体权限控制及家庭网络推理服务。

推荐理由:NVIDIA RTX Spark 将本地模型运行、编码和测试整合到 Windows 笔记本中,让开发流程减少对云端测试环境的依赖。

The Verge · AI

Meta 与 Apple 合作,让 Muse AI 模型更好地在 Mac 上运行

Meta 发布 Muse Spark Open 并开放权重,与 Apple 合作使其能通过最新 MLX 框架在两台 Apple M5 Ultra Mac Studios 上运行。Meta 称该模型原生支持多模态,总参数量为 816 billion,擅长长周期任务、复杂软件工程和多步推理。双方已合作数月,Apple 也发布了涉及 MLX、Muse Spark Open 和另外两个开放模型的技术文章。

推荐理由:Meta 与 Apple 将持续数月的合作落实到模型与框架适配,让大规模开放权重模型能在两台桌面设备上运行。

Hacker News 首页

Meta 发布 Muse Spark Open 开放权重模型,支持双台 Mac Studio 本地运行

Meta 发布 Muse Spark Open 模型权重,原生支持多模态,拥有 816B 总参数、42B 活跃参数和 1M-token 上下文窗口,面向编码与智能体任务。

推荐理由:Meta 开放 Muse Spark Open 权重并支持双台 Mac Studio 本地运行,让编码与多模态智能体工作流能在桌面端执行。

AI HOT · 模型

Black Forest Labs 发布开放权重图像模型 FLUX 3 Image Klein(5.6B)

Black Forest Labs 发布 5.6B 参数的开放权重模型 FLUX 3 Image Klein,支持文生图、图像编辑及最多 10 张参考图的多参考生成。

推荐理由:FLUX 3 Image Klein 通过 INT8 量化支持低至 8GB 显存的设备运行,降低本地图像生成与编辑的硬件门槛。

AI HOT · 模型

NVIDIA 发布开源 Nemotron 3.5 Super VL 及两款 Bolt 边缘模型

NVIDIA 发布 Nemotron 3.5 Super VL 和两款 Bolt 边缘模型,覆盖企业服务器到本地设备的智能体部署。Super VL 为 120-billion-parameter 多模态模型,开放权重、数据集和训练配方,支持理解图像、网页及 PDF,并可用组织自有数据进行后训练。

推荐理由:NVIDIA 为服务器和边缘设备推出开放模型,组织能按硬件条件选择部署层级,并用自有数据定制智能体任务。

10月13日星期二

Hacker News 首页

Apple HomeView 内置 Siri AI,支持个性化助手与智能家居控制

Apple HomeView 内置由 Apple Intelligence 驱动的 Siri AI,结合个人上下文、知识问答和智能家居控制提供家庭助手体验。设备配备 A18 芯片和 7-inch Liquid Retina 显示屏,可识别最多六位用户;访问个人内容需配对的 iPhone 或 iPad 连接同一 Wi-Fi、近期已解锁,并通过人脸识别。

推荐理由:Apple HomeView 将个性化助手接入家庭共享设备,通过人脸识别与配对设备访问条件,将个人内容与访客可用功能分开。

Hacker News 首页

Anthropic 研究:AI 模型可能无需数据中心就能自我复制

Anthropic 的实验显示,小型 AI 模型已能完成自我复制的多项步骤,但尚未形成完整的失控自我复制系统。研究在 15 台 Android TV 盒子上运行 Gemma4-26B-A4B,达到 0.39 tokens per second,Qwen3.5-9B 能在 9 类受测硬件中的 8 类上部署推理。

推荐理由:Anthropic 将推理部署与端到端复制分开测试,明确了小模型适配陌生硬件的能力与完成整条复制链之间的差距。

10月8日星期四

AI HOT · 产品

NVIDIA 与 Microsoft 推出 RTX Spark,宣布 Windows 智能体执行容器 MXC 正式可用

NVIDIA 与 Microsoft 推出面向 Windows 笔记本和紧凑型桌面机的 RTX Spark,Microsoft 同时宣布 Microsoft Execution Containers(MXC)正式可用,让智能体在操作系统控制下安全、持续地后台运行。

推荐理由:NVIDIA 与 Microsoft 将本地 AI 硬件和智能体执行容器接入 Windows,让模型运行与智能体后台执行纳入同一桌面环境。

10月7日星期三

Hacker News 首页

Strands 发布开源决策模型 Strands Decider 2B

Strands 发布 Strands Decider 2B,面向本地实验与智能体工作流,在 GitHub 和 Hugging Face 开放代码、权重、训练数据及脚本。

推荐理由:Strands Decider 2B 的示例在工具执行前检查参数依据与调用时机,将低成本决策嵌入智能体的澄清流程。

Google DeepMind

Google DeepMind 发布 EmbeddingGemma 2,支持端侧多模态嵌入向量

Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构,将文本、代码、图像、视频和音频映射到统一嵌入向量空间。模型拥有 740 million 参数,采用 Apache 2.0 许可证,支持 8K token 上下文窗口及完全离线的跨模态搜索与 RAG;纯文本任务仅需 270M 参数,输出向量可从 768 维缩减至 128 维。

推荐理由:EmbeddingGemma 2 将跨模态检索放到本地设备运行,让文本、图像、音频和视频检索无需将数据传至云端。

10月5日星期一

Hacker News 首页

RemoveMacAI 可关闭 macOS 27 的 Apple Intelligence 并回收模型占用空间

RemoveMacAI 可关闭 macOS 27 的 Apple Intelligence、移除已下载模型并阻止重新下载,所有更改均可撤销。工具通过用户批准的配置描述文件和 Apple 的资源服务操作,保持 System Integrity Protection 启用,但会停用依赖设备端模型的应用功能,模型文件实际删除由 macOS 自行调度。

推荐理由:RemoveMacAI 通过可撤销的配置关闭系统 AI 并阻止模型重新下载,回收存储空间的同时会停用依赖设备端模型的应用功能。

8月12日星期三

Google DeepMind

Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

Google DeepMind 发布多语言手语转文本模型 SL2T,首次将手语 AI 带入消费级产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。

推荐理由:Google DeepMind 将多语言手语转文本模型 SL2T 装进 Pixel 11 的 Gboard 与 Live Transcribe,支持美国手语转英文听写,手语 AI 从实验室走到消费级产品。