跳到正文

#部署/工程

今日 0 条

11月15日星期日

The Decoder

美团发布 LongCat-2.5 权重,全程使用中国硬件训练

美团发布面向多步骤智能体任务的 LongCat-2.5 权重,模型拥有 1.6 trillion 参数,全程使用中国硬件训练。该 MoE 模型每个 token 约激活 48 billion 参数,支持文本、图像和视频输入,权重采用允许商用的 MIT 许可。

推荐理由:美团公布 LongCat-2.5 的智能体评测结果,其常规终端任务表现接近 Claude Opus 5,较难版本的差距更明显。

11月14日星期六

The Decoder

Runway 开源机器人控制模型 Praxis-1,利用视频训练预测环境与动作

Runway 发布机器人控制模型 Praxis-1 的开放权重和源代码,采用允许商业使用的 Apache 2.0 许可证。模型基于视频预训练,结合摄像头图像、文本指令和机器人位置信息预测环境变化并生成动作,在 Runway 自行开展的 RoboLab-120 测试中成功率为 46.2%,位列 World Action Model 类别第一、总榜第五,结果尚未经独立核验。

Hacker News 首页

Unsloth 更新 Qwen3.8-27B 量化版本,采用 Dynamic V3.1 算法

Unsloth 发布采用 Dynamic V3.1 预览算法的 Qwen3.8-27B GGUF,称多数基准在相同体积下准确率提升 5-10%。此次更新覆盖多数 2bit 至 6bit 量化版本,3bit 因提升不显著而保留旧版;智能体基准使用 256K 上下文,其余基准使用 128K。

11月13日星期五

Hacker News 首页

Edge0 开源 Edge0-145B 和 Edge0-120B,支持个人电脑本地推理

Edge0 开源 Edge0-145B、Edge0-120B 及统一推理框架和部署工具,支持在适配的个人电脑上运行编码、推理与 AI 智能体任务。内部测试报告 Edge0-145B 峰值内存为 29GB、预填充速度为 1,100+ tokens/s、解码速度为 80+ tokens/s,通过专家矩阵共享、分层加载和 CPU/GPU 协同执行降低运行负担。

推荐理由:Edge0 将模型架构与推理引擎联合设计,通过专家矩阵共享、分层加载和异构调度降低大模型本地运行的内存与数据搬运负担。

11月8日星期日

Hacker News 首页

Maple 推出 MoE 剪枝工具,将 Gemma 4 26B-A4B 压缩至 4.75 GB

Maple 发布领域专用 MoE 剪枝流水线及 Gemma 4 26B-A4B 压缩模型,将模型从 9.92 GB 缩至 4.75 GB。项目通过前向激活分析每层移除 80 个专家、保留 48 个专家,报告在 RTX 4050 6GB 笔记本 GPU 上实现全部 30 层驻留显存,生成速度由 6.9 提升至 45.4 Tokens/Sec。

11月5日星期四

Hacker News 首页

Kimi K3.1 Pro 开放模型权重,支持百万 token 上下文

Kimi K3.1 Pro 已开放权重,是支持文本和图像的原生多模态智能体模型,具备 1-million-token 上下文窗口。模型采用 MoE 架构,总参数为 2.8T、激活参数为 104B,从 Kimi K3 经大规模联合强化学习后训练而来,官方称其编码、3D 创作、金融研究和事实准确性有所提升。

推荐理由:Kimi K3.1 Pro 公布多轮工具调用的消息回传要求,接入时需保留完整推理内容与工具调用记录以维持对话上下文。

11月4日星期三

The Decoder

OpenAI 称 GPT-6 Astra 在不到一周内从零设计出硬件设备

OpenAI 称其硬件团队用 GPT-6 Astra 在不到一周内完成了一款可与 Codex 编码智能体对话的设备设计,作为业余项目推进。Astra 负责外壳、PCB 布局、元件选择、走线、固件和用户界面,代工厂在不到一个月内生产出小批量原型,但因模型未总能考虑制造约束、公差和装配细节,设计经历了多轮修订。

11月3日星期二

11月1日星期日

Computing Life · Share · 鸭哥调研

从 Liquid AI LFM3 看端侧小模型的同源分工策略与工程取舍

Liquid AI 的 LFM3 家族通过共享基底、按任务分支和削减全局注意力,让端侧小模型专注工具执行与结构化决策。10 月 27 日开源的六个模型共享 LFM3-1.7B-Base,分为四个生成模型和两个零输出 token 的决策模型;LFM3-1.7B 的闭卷知识准确率为 7.07%,未知拒答率为 92.93%。

10月30日星期五

TechCrunch · AI

Mistral 开放万亿参数模型 Mistral Large 4 权重,面向网络安全防御

Mistral 发布万亿参数模型 Mistral Large 4(ML4)的权重,允许企业和政府自行下载、部署,用于网络安全防御。Mistral 称,ML4 的性能与 GLM-5.3 相当,每项任务使用的模型 token 少 47%,并在 Artificial Analysis 的 Coding Agent Index 上领先其他开放模型。

10月29日星期四

AI HOT · 模型

Mistral Large 4(Le Chonk)登陆 Hugging Face,开放约 1T 参数多模态模型权重

Mistral Large 4(Le Chonk)在 Hugging Face 开放权重,采用多模态、多语言 MoE 架构,支持文本和图像输入、文本输出。模型约有 1T 总参数、49B 激活参数和 1M tokens 上下文窗口,提供 FP8、NVFP4 官方版本,许可证对模型即服务业务设有限制。

推荐理由:Mistral Large 4开放权重并提供多种部署路径,让安全团队能够自行控制漏洞复现与修补任务的使用政策和运行环境。

10月26日星期一

10月25日星期日

Hacker News 首页

Dream Labs 发布机器人世界动作模型 Dream-1,开放公共 API

Dream Labs 发布世界动作模型 Dream-1 并开放公共 API,称其可零样本控制未见过的双臂平行夹爪机器人,执行未见任务。评估覆盖 27 种模拟机器人和 4 种真实机器人,表现因机器人及其逆运动学求解器而异;FaaS 微调服务可利用机器人自身数据改善适配。

10月24日星期六

10月21日星期三

The Decoder

Mistral AI 发布 Voxtral 3,整合实时语音智能体模型与 SDK

Mistral AI 发布面向实时语音智能体的 Voxtral 3 模型家族,将听取、思考、工具调用与说话整合进单一流式管线。系统包含 Voxtral Small Transcribe 3、Voxtral Mini TTS 3 和基于 LiveKit 的语音智能体 SDK,转录覆盖超过 50 种语言,语音输出支持超过 35 种语言及 50 种方言,并支持情绪适配。

Mistral AI

Mistral AI 发布 Voxtral 3 语音模型系列及语音智能体 SDK

Mistral AI 发布 Voxtral 3 语音识别与语音生成模型系列,并推出整合听取、推理、工具调用和发声的实时语音智能体 SDK。转录支持 50+ 种语言,实时转录延迟低于 500ms;语音生成支持 35+ 种语言和 50+ 种方言,可按上下文调整情绪、语速和重音。

推荐理由:Mistral 将语音识别、推理、工具调用和语音生成整合为流式管线,各阶段模型可独立替换,减少更换语言或声音时重写智能体的需求。

10月20日星期二

Hacker News 首页

Inception 发布 Mercury 3,将文本扩散模型扩展至更大规模

Inception 发布扩散式大语言模型 Mercury 3,宣称其在多项基准上超过 GPT-6 Luna 和 Claude Haiku 5.5,运行速度快4–8x。

推荐理由:Inception 将 Mercury 3 的参数规模扩大至 Mercury 1 的40倍以上,同时保持相近速度,为文本扩散模型提供了规模化比较。

10月16日星期五

AI HOT · 模型

Black Forest Labs 发布开放权重图像模型 FLUX 3 Image Klein(5.6B)

Black Forest Labs 发布 5.6B 参数的开放权重模型 FLUX 3 Image Klein,支持文生图、图像编辑及最多 10 张参考图的多参考生成。

推荐理由:FLUX 3 Image Klein 通过 INT8 量化支持低至 8GB 显存的设备运行,降低本地图像生成与编辑的硬件门槛。

AI HOT · 模型

NVIDIA 发布开源 Nemotron 3.5 Super VL 及两款 Bolt 边缘模型

NVIDIA 发布 Nemotron 3.5 Super VL 和两款 Bolt 边缘模型,覆盖企业服务器到本地设备的智能体部署。Super VL 为 120-billion-parameter 多模态模型,开放权重、数据集和训练配方,支持理解图像、网页及 PDF,并可用组织自有数据进行后训练。

推荐理由:NVIDIA 为服务器和边缘设备推出开放模型,组织能按硬件条件选择部署层级,并用自有数据定制智能体任务。

10月15日星期四

AI HOT · 产品

Black Forest Labs FLUX.3 Image Klein 登陆 Diffusers,支持边界框布局控制

Black Forest Labs FLUX.3 Image Klein 发布并同步支持 Diffusers,在同一模型中提供文生图、多参考图生图与边界框布局控制。

推荐理由:FLUX.3 用归一化边界框指定生成区域及参考图内容的移动位置,让布局指令在不同图像尺寸下保持一致。

10月6日星期二

Mistral AI

Mistral AI 发布 Mistral Large 4 公开预览,计划月底开放权重

Mistral AI 发布原生多模态模型 Mistral Large 4(ML4)公开预览,现可通过 Mistral Studio 的 API 试用,计划本月底开放权重。

推荐理由:Mistral AI 计划开放 ML4 权重并支持私有部署,使组织能在自身政策下开展安全工作,减少对供应商访问权限和拒绝策略的依赖。

10月3日星期六

Hacker News 首页

Aleph Alpha 发布开放权重模型 Kolibri,支持英德双语与 1M tokens 上下文

Aleph Alpha 发布英德双语 MoE 模型 Kolibri,总参数为 78B、激活参数约 3B,支持最高 1M tokens 上下文。完整权重在 Hugging Face 按 Apache 2.0 许可开放,部署需要提供 Kolibri vLLM 插件的 aleph-alpha-inference 包。

推荐理由:Aleph Alpha 将行业失败案例转成持续运行的评测,并用合成训练环境改进模型,无需使用客户数据训练。

10月2日星期五

AI HOT · 模型

NVIDIA 介绍 Blackwell GPU 如何加速 OpenAI GPT-6 Astra Ultrafast

GPT-6 Astra Ultrafast 运行于 NVIDIA Blackwell GPU,token 生成速度最高可达 Astra Standard 模式的 8x。

推荐理由:OpenAI 利用自身模型优化 NVIDIA GPU 推理软件,加快响应可缩短编码智能体反复编辑、测试和调试的等待时间。

9月10日星期四

DeepSeek · API 更新日志

DeepSeek-V4.1-Flash 发布,支持原生视觉理解并下调 API 价格

DeepSeek 今天发布 DeepSeek-V4.1-Flash,作为全新模型结构系列中尺寸最小的模型,具备原生多模态视觉理解能力。模型已上线 DeepSeek API,使用 deepseek-flash 即可调用,API 价格同步下调;旧模型 V4 Flash 与 V4 Flash Vision Exp 已下线,其调用名称暂时路由至 V4.1 Flash。

推荐理由:DeepSeek 将旧模型名称暂时路由到 V4.1 Flash 并同步下调 API 价格,现有调用可保持名称兼容但会切换模型。

8月3日星期一

Hacker News 首页

AirLLM 让一张 4GB 显卡就能跑 70B 大模型

这个开源库把 Llama 3 70B 这样的大模型按层拆开,每次只加载一层到显存里算,算完再换下一层,所以一张只有 4GB 显存的普通显卡也能跑推理,不用多卡并联。它支持 Llama、Mistral、ChatGLM 等主流架构,直接兼容 HuggingFace 上的模型。代价是速度会慢不少,但把本地跑大模型的硬件门槛压到了笔记本级别。

推荐理由:AirLLM 把 70B 模型按层拆开逐层加载,让 4GB 显存显卡也能跑推理,硬件门槛降到笔记本级别,代价是速度变慢。

6月9日星期二

AI HOT 精选

Gemma 4 12B 发布:一个模型直接看懂图文和音频,不用外挂编码器

Google DeepMind 开源了 Gemma 4 12B,一个 120 亿参数的多模态模型。它最大的变化是去掉了传统的独立视觉/音频编码器,把所有输入统一交给 Transformer 处理,架构更简单。模型能直接听懂语音,不再需要先转文字。官方说它用 Apache 2.0 协议开源,在 16GB 显存或统一内存的笔记本上就能跑。

推荐理由:Google DeepMind 开源 Gemma 4 12B,去掉独立视觉和音频编码器,统一由 Transformer 处理图文语音,16GB 显存即可运行。

r/LocalLLaMA

单张 MI50 跑 Qwen3.6-27B 速度翻倍:从 19.4 涨到 38.1 token/秒

有个玩家在单张 AMD MI50 上跑 Qwen3.6-27B 模型,用 Q8 或更低精度的量化版本时,发现显卡的算力没吃满。他想到一个取巧的办法:不额外加载一个小模型做投机解码,而是让同一个模型同时跑两路计算,假装自己有两份模型副本。结果生成速度直接从 19.4 token/秒翻到 38.1 token/秒。

推荐理由:有玩家在单张 MI50 上让 Qwen3.6-27B 同时跑两路计算,把生成速度从 19.4 token/秒提到 38.1 token/秒,为量化模型算力未吃满的情况提供了一种不加载小模型的提速思路。

6月8日星期一

r/LocalLLaMA

Luce Spark:让 35B 的 MoE 模型在 16GB 显存上跑起来,不用忍受传统卸载的速度惩罚

Luce Spark 是一个开源方案,能让 Qwen3.6 35B-A3B 这种规模的混合专家模型在 RTX 3090 上只占 13.3 GiB 显存,跑出约 100 tok/s 的速度。

推荐理由:Luce Spark 让 Qwen3.6 35B-A3B 在 RTX 3090 上只占 13.3 GiB 显存并跑到约 100 tok/s,其做法是把常用专家留在 GPU、其余放内存并异步搬运,与计算重叠。

r/LocalLLaMA

RTX 5090 跑 Qwen3.6-27B 实测:DFlash 投机解码加 KV 缓存压缩,速度提到 3.26 倍

作者在单张 RTX 5090 上跑了 Qwen3.6-27B,用 DFlash 做投机解码(让一个小模型先猜答案,大模型再核对,省时间),同时压缩 KV 缓存(把模型记住的上下文瘦身,省显存)。结果最高提速到 3.26 倍。用 q4_0/turbo4 量化时速度是原来的 3.18 倍,WikiText-2 上的困惑度只涨了 0.02%,基本没掉精度。

推荐理由:作者在单张 RTX 5090 上把 DFlash 投机解码与 KV 缓存压缩组合用于 Qwen3.6-27B,最高提速 3.26 倍,q4_0 量化下困惑度仅涨 0.02%。

r/LocalLLaMA

双卡 3090 跑 27B 模型,解码速度几乎翻倍,没插 NVLink 也做到了

一位 Reddit 用户拿 qwen3.6-27b-autoround-int4 模型做测试,对比单张 3090 和两张 3090 的表现。

推荐理由:Reddit 用户用两张 3090 在无 NVLink 的普通 PCIe 下跑 qwen3.6-27b 的 int4 量化版,解码速度相比单卡接近翻倍,为本地推理加卡提供了具体参考。

6月6日星期六

AI HOT 精选

OpenCV 5 发布,换了一套能跑大模型的神经网络引擎

OpenCV 5 最大的变化是换了一套全新的 DNN 引擎,从原来的逐层执行改成基于计算图的架构,能做算子融合,跑 Transformer、视觉语言模型和大语言模型都成了原生能力。ONNX 算子的覆盖率从 4.x 时期不到 23% 一下子拉到 80% 以上,以前很多导不进来的模型现在能直接用了。

推荐理由:OpenCV 5 将 DNN 引擎改为计算图架构并支持算子融合,ONNX 算子覆盖率从 4.x 的不到 23% 提升到 80% 以上,原先导不进来的模型现在可直接使用。