跳到正文

#端侧

今日 0 条

11月13日星期五

Hacker News 首页

Edge0 开源 Edge0-145B 和 Edge0-120B,支持个人电脑本地推理

Edge0 开源 Edge0-145B、Edge0-120B 及统一推理框架和部署工具,支持在适配的个人电脑上运行编码、推理与 AI 智能体任务。内部测试报告 Edge0-145B 峰值内存为 29GB、预填充速度为 1,100+ tokens/s、解码速度为 80+ tokens/s,通过专家矩阵共享、分层加载和 CPU/GPU 协同执行降低运行负担。

推荐理由:Edge0 将模型架构与推理引擎联合设计,通过专家矩阵共享、分层加载和异构调度降低大模型本地运行的内存与数据搬运负担。

11月8日星期日

Hacker News 首页

Maple 推出 MoE 剪枝工具,将 Gemma 4 26B-A4B 压缩至 4.75 GB

Maple 发布领域专用 MoE 剪枝流水线及 Gemma 4 26B-A4B 压缩模型,将模型从 9.92 GB 缩至 4.75 GB。项目通过前向激活分析每层移除 80 个专家、保留 48 个专家,报告在 RTX 4050 6GB 笔记本 GPU 上实现全部 30 层驻留显存,生成速度由 6.9 提升至 45.4 Tokens/Sec。

11月6日星期五

TechCrunch · AI

Underdog 展示 32MB 语音模型 Woof 的游戏演示

Underdog 推出基于新语音生成模型 Woof 的浏览器游戏演示,该模型大小仅为 32MB,拥有 31 million 参数并开放下载。用户可在游戏中的打字机输入文字并听到朗读,也可旋转调谐器生成不同音乐;公司称模型可在大多数设备上无需联网运行。几周前,Underdog 还推出了面向端侧转录和听写的 167 MB 语音转文字模型 Bark。

11月4日星期三

Simon Willison

实测 Qwen 3.8 27B:笔记本上也能解读模型权重

Simon Willison 在笔记本上运行 Qwen 3.8 27B,仅凭原始权重、无工具调用,成功识别三个游戏网络的用途。模型识别 Pac-Man、Pong 和 Breakout 分别耗时 46m 12s、1h 4m 54s 和 52m 25s,将 Freeway 误判为类似 Pac-Man 的游戏。

11月1日星期日

Computing Life · Share · 鸭哥调研

从 Liquid AI LFM3 看端侧小模型的同源分工策略与工程取舍

Liquid AI 的 LFM3 家族通过共享基底、按任务分支和削减全局注意力,让端侧小模型专注工具执行与结构化决策。10 月 27 日开源的六个模型共享 LFM3-1.7B-Base,分为四个生成模型和两个零输出 token 的决策模型;LFM3-1.7B 的闭卷知识准确率为 7.07%,未知拒答率为 92.93%。

10月29日星期四

10月28日星期三

Hacker News 首页

Liquid AI 发布 LFM3:面向专用智能的多模态模型家族

Liquid AI 发布 LFM3,首批包含 6 款 2B 级模型,以共享骨干覆盖文本、视觉、音频、全模态和决策任务。新骨干采用短卷积、滑动窗口注意力与全局注意力的三混合架构,经过 22T tokens 预训练,文本模型提供 256K tokens 上下文窗口。

10月26日星期一

10月25日星期日

TechCrunch · AI

Block 发布语音模型 Dessa,笑声、停顿和哭声表现接近真人

Block 发布可本地运行的全双工语音模型 Dessa,支持同时听说,并展示了笑声、停顿和哭声等接近真人的表达。Block 称该模型完全使用人类语音和单张 NVIDIA GPU 训练,知识来自对话数据,情绪表达内置于模型。Dessa 可在 MacBook M4 Max 或更高配置的消费级电脑上运行,目前尚未公开开放,Block 正邀请安全研究人员测试。

10月24日星期六

The Decoder

Block 推出语音模型 Dessa:完全用人类语音训练,能捕捉文本模型遗漏的情绪

Block 发布 AI 语音模型 Dessa,号称首个完全基于人类语音、不含任何文本数据从零训练的模型,直接以音频处理语音,可实时捕捉情绪、讽刺、笑声和停顿。该模型支持全双工交流,可在 MacBook Pro M4 Max 本地运行,训练使用单台 NVIDIA GB200 NVL72。Dessa 尚未公开,团队正招募 AI 安全研究者测试其意外风险。

The Verge · AI

Jack Dorsey 的 Block 发布 Dessa,像略显尴尬的新朋友一样与你交谈

Jack Dorsey 的 Block 宣布语音模型 Dessa,仅用人类对话从零训练,演示交流大体自然,也出现认错人和突然跑题。团队称它是直接处理语音输入与输出的模型,所有知识均来自人类语音,可在 MacBook Pro M4 Max 或更高配置设备上本地运行。团队希望改善人与 AI 的理解及语音情绪识别相关安全问题,将向一小群 AI 安全研究人员提供早期访问权限。

10月22日星期四

10月21日星期三

10月20日星期二

10月19日星期一

10月16日星期五

Hacker News 首页

Meta 发布 Muse Spark Open 开放权重模型,支持双台 Mac Studio 本地运行

Meta 发布 Muse Spark Open 模型权重,原生支持多模态,拥有 816B 总参数、42B 活跃参数和 1M-token 上下文窗口,面向编码与智能体任务。

推荐理由:Meta 开放 Muse Spark Open 权重并支持双台 Mac Studio 本地运行,让编码与多模态智能体工作流能在桌面端执行。

AI HOT · 模型

Black Forest Labs 发布开放权重图像模型 FLUX 3 Image Klein(5.6B)

Black Forest Labs 发布 5.6B 参数的开放权重模型 FLUX 3 Image Klein,支持文生图、图像编辑及最多 10 张参考图的多参考生成。

推荐理由:FLUX 3 Image Klein 通过 INT8 量化支持低至 8GB 显存的设备运行,降低本地图像生成与编辑的硬件门槛。

AI HOT · 模型

NVIDIA 发布开源 Nemotron 3.5 Super VL 及两款 Bolt 边缘模型

NVIDIA 发布 Nemotron 3.5 Super VL 和两款 Bolt 边缘模型,覆盖企业服务器到本地设备的智能体部署。Super VL 为 120-billion-parameter 多模态模型,开放权重、数据集和训练配方,支持理解图像、网页及 PDF,并可用组织自有数据进行后训练。

推荐理由:NVIDIA 为服务器和边缘设备推出开放模型,组织能按硬件条件选择部署层级,并用自有数据定制智能体任务。

10月7日星期三

Hacker News 首页

Strands 发布开源决策模型 Strands Decider 2B

Strands 发布 Strands Decider 2B,面向本地实验与智能体工作流,在 GitHub 和 Hugging Face 开放代码、权重、训练数据及脚本。

推荐理由:Strands Decider 2B 的示例在工具执行前检查参数依据与调用时机,将低成本决策嵌入智能体的澄清流程。

Google DeepMind

Google DeepMind 发布 EmbeddingGemma 2,支持端侧多模态嵌入向量

Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构,将文本、代码、图像、视频和音频映射到统一嵌入向量空间。模型拥有 740 million 参数,采用 Apache 2.0 许可证,支持 8K token 上下文窗口及完全离线的跨模态搜索与 RAG;纯文本任务仅需 270M 参数,输出向量可从 768 维缩减至 128 维。

推荐理由:EmbeddingGemma 2 将跨模态检索放到本地设备运行,让文本、图像、音频和视频检索无需将数据传至云端。

8月12日星期三

Google DeepMind

Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

Google DeepMind 发布多语言手语转文本模型 SL2T,首次将手语 AI 带入消费级产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。

推荐理由:Google DeepMind 将多语言手语转文本模型 SL2T 装进 Pixel 11 的 Gboard 与 Live Transcribe,支持美国手语转英文听写,手语 AI 从实验室走到消费级产品。

2025年12月3日星期三

Mistral AI

Mistral 发布 Mistral 3 系列模型,含 675B 参数 Mistral Large 3

Mistral AI 发布 Mistral 3 系列,包括 14B、8B、3B 三个稠密模型和采用稀疏 MoE 架构的 Mistral Large 3,后者为 41B 激活、675B 总参数,全部以 Apache 2.0 许可开源。

推荐理由:Mistral 以 Apache 2.0 开源 Mistral 3 系列,含 3B 到 14B 稠密模型与 675B 总参数的稀疏 MoE 大模型,覆盖端侧到前沿规模。

2025年3月17日星期一

Mistral AI

Mistral AI 发布 Mistral Small 3.1,支持多模态与 128k 上下文

Mistral AI 发布 Mistral Small 3.1,在 Mistral Small 3 基础上提升文本性能、多模态理解,并将上下文窗口扩展至 128k tokens,推理速度达 150 tokens per second,以 Apache 2.0 许可开源。

推荐理由:Mistral AI 以 Apache 2.0 许可开源 Mistral Small 3.1,将上下文扩至 128k tokens 并加入多模态理解,可在单张 RTX 4090 或 32GB 内存的 Mac 上运行。

2025年1月30日星期四

Mistral AI

Mistral AI 发布 Mistral Small 3,24B 模型采用 Apache 2.0 许可

Mistral AI 发布面向低延迟任务的 24B 模型 Mistral Small 3,以 Apache 2.0 许可开放预训练和指令微调检查点。官方称其性能与 Llama 3.3 70B instruct 相当,同硬件下速度超过 3x,MMLU 准确率超过 81%;模型未使用 RL 或合成数据训练。

推荐理由:Mistral AI 将 Small 3 的性能对标 Llama 3.3 70B,并报告同硬件下超过 3x 的速度优势。