跳到正文

MCP 与工具调用

模型连接外部世界的协议与实践:MCP 生态、function calling、工具链集成的动态。

824 条精选相关主题Agent 智能体AI 编码开源生态

最新精选

第 161–180 条 · 共 824 条

6月1日星期一

量子位 · 公众号

招商局狮子山实验室开源 LiOS 架构,把云端大模型延迟压到 30 毫秒,还送了个叠衣服数据集

招商局狮子山人工智能实验室放出了一个叫 LiOS 的边云架构,专门解决机器人怎么用上云端大模型的问题。他们跨机器测下来,从本地摄像头到云端 GPU 显存,单向延迟大约 30 毫秒,这个数字对很多实时控制场景已经够用了。架构里低延迟视频传输模块直接开源,还附带了一个 LeFold 叠衣服数据集。

推荐理由:招商局狮子山实验室开源 LiOS 边云架构,实测本地摄像头到云端 GPU 显存单向延迟约 30 毫秒,并开放低延迟视频传输模块与 LeFold 叠衣服数据集。

r/LocalLLaMA

网友在双 DGX Spark 上跑 DeepSeek V4 Flash:预填充 1680 token/s,解码 39.8 token/s

一位 Reddit 用户用两台华硕 GX10(DGX Spark)组了个小集群,通过 vLLM 加载 DeepSeek-V4-Flash 模型。在 256K 上下文窗口、开启多 token 预测(MTP=2)的设置下,测得预填充速度 1680 token/s,解码速度 39.8 token/s。

推荐理由:Reddit 用户用两台华硕 GX10 组成集群,在 256K 上下文下实测 DeepSeek-V4-Flash 的预填充与解码速度,并给出张量并行、RoCE 网络等完整配置。

AI HOT 精选

NVIDIA 发布工厂运营蓝图 FOX,让 AI 智能体接管产线管理

NVIDIA 在台北 GTC 上推出了一个叫 FOX 的工厂运营蓝图,相当于给工厂装了一套能自主管产线的“AI 大脑”。富士康已经用它搭了一个叫 MoMClaw 的多智能体系统,把摄像头、传感器和产线数据喂给多个 AI 智能体,让它们协同干活。

推荐理由:英伟达在台北 GTC 发布工厂运营蓝图 FOX,用多个 AI 智能体协同管理产线,富士康已据此搭出 MoMClaw 系统,为观察智能体进入制造流程提供了落地样本。

AI HOT 精选

NVIDIA 发布 RTX Spark 本地 AI 电脑,1 petaflops 算力跑智能体,llama.cpp 优化让 Qwen 27B 吞吐翻倍

NVIDIA 在 Computex 上发了台叫 RTX Spark 的 Windows 电脑,专门在本地跑 AI 智能体。配置给得挺足:1 petaflops AI 算力、128GB 统一内存,意思是大模型不用来回倒腾显存。安全方面,他们和微软合作搞了个 OpenShell 运行时,用 Windows 新的安全接口把智能体锁在设备本地跑,数据不出机。

推荐理由:NVIDIA 在 Computex 发布 RTX Spark,用 1 petaflops 算力和 128GB 统一内存把大模型跑在本地,并与微软合作以 OpenShell 运行时将智能体限制在设备内。

AI HOT 精选

Qwen3.7-Plus:一个能看图、写代码、操作界面的多模态智能体模型

Qwen 发布了 Qwen3.7-Plus,把视觉理解和语言能力塞进同一个模型里,让它能直接看懂屏幕、操作手机 App、根据截图写前端代码,还能在命令行和图形界面之间来回切换干活。在 Terminal Bench 2.0 终端任务上拿了 70.3 分,比 Opus 4.6 Max 和 DeepSeek-V4-Pro Max 都高。

推荐理由:Qwen 发布 Qwen3.7-Plus,把视觉理解与语言能力合入同一模型,能看屏幕、操作 App、按截图写前端代码,在 Terminal Bench 2.0 上以 70.3 分高于 Opus 4.6 Max 和 DeepSeek-V4-Pro Max。

r/LocalLLaMA

有人把英伟达 Parakeet 语音转文字模型移植到了 ggml,不再需要 Python,还能量化压缩

开发者 mudler_it 把英伟达的 Parakeet 语音转文字模型用 C++ 和 ggml 重写了一遍,彻底甩掉了 Python 和 PyTorch。他测试下来,在 f32 和 f16 精度下输出结果和原版 NeMo 逐字节一致,但速度更快,大一点的 TDT 和混合模型在 GPU 上能跑到大约 5 倍加速。

推荐理由:开发者用 C++ 和 ggml 重写了英伟达 Parakeet 语音转文字模型,去掉 Python 与 PyTorch 依赖,f32 和 f16 精度下输出与原版 NeMo 逐字节一致,GPU 上大模型约 5 倍加速。

5月31日星期日

AI HOT 精选

苹果 WWDC 要拿 Gemini 蒸馏出的小模型跑在 iPhone 上,复杂问题还是会甩给谷歌云

下个月 WWDC 苹果会展示 Siri 和端侧 AI 的升级,核心思路是把谷歌 Gemini 模型“蒸馏”成一个小号版本,直接在 iPhone 芯片上本地跑,主打隐私和省 token 费。但整个技术栈对外依赖很重:本地模型源自 Gemini 蒸馏,手机处理不了的复杂请求会路由到谷歌云,还用了英伟达的机密计算。

推荐理由:苹果将在 WWDC 展示把 Gemini 蒸馏成小模型在 iPhone 本地运行,复杂请求仍路由到谷歌云,技术栈对外依赖明显。

r/LocalLLaMA

不用改代码,让 OpenAI Codex 桌面客户端接任意模型和供应商

Reddit 用户 thibautrey 分享了一个三步走的方法:编辑 Codex Desktop 的 config.toml 配置文件,存好 API 密钥,再用一个叫 multicodex 的代理别名把 gpt-5.3-codex 这个模型名映射到 MiniMax-Latest。

推荐理由:Reddit 用户 thibautrey 给出三步配置法,编辑 config.toml 并用 multicodex 代理映射模型名,让 Codex 桌面端不改代码即可接入 MiniMax-Latest。

机器之心 · 公众号

微软开源 SkillOpt:像训练神经网络一样,自动优化给 AI 智能体看的技能说明书

微软放出了一个叫 SkillOpt 的开源框架,一周就在 GitHub 上拿了 3300 多颗星。它的思路挺直接:不改模型本身的参数,而是像做文本版梯度下降一样,自动迭代优化那些写给 AI 智能体看的“技能文档”。论文里的实验覆盖了 7 个目标模型、6 个评测基准和 3 种执行环境,总共 52 种组合,结果要么最好,要么并列最好。

推荐理由:微软开源的 SkillOpt 不改模型参数,而是自动迭代写给智能体的技能文档,实验覆盖 7 个目标模型、6 个基准和 3 种环境共 52 种组合。

量子位 · 公众号

复旦和通义搞了个 ToolCUA,专门教 Agent 在屏幕上选对工具

现在给 Agent 塞一堆工具,它经常不知道该点哪个。复旦和通义实验室提出了一套叫 ToolCUA 的训练方法,核心是用约 4000 个合成工具和 18 万步的“屏幕操作+工具调用”交叉轨迹来训练模型。他们训出来的 ToolCUA-8B 在 OSWorld-MCP 基准上跑到了 46.85% 的准确率。

推荐理由:复旦与通义实验室提出 ToolCUA 训练方法,用约 4000 个合成工具和 18 万步交叉轨迹教 Agent 在屏幕上选对工具,其 8B 模型在 OSWorld-MCP 基准上达到 46.85% 准确率。

AI HOT 精选

Simon Willison 把 Python 网页应用直接跑在了浏览器里,不再需要后端服务器

Simon Willison 用 Pyodide(把 Python 编译成浏览器能跑的 WebAssembly)加上 Service Worker,让 Python 的 ASGI 网页应用完全在浏览器里运行。

推荐理由:Simon Willison 用 Pyodide 和 Service Worker 让 Python ASGI 应用完全跑在浏览器里,无需后端服务器,为无服务器部署提供了一条可迁移的技术路径。

5月30日星期六

TechCrunch · AI

我让谷歌的 24 小时 AI 助手 Gemini Spark 干了一天活,它确实挺有用

TechCrunch 的编辑实测了谷歌新推出的 Gemini Spark,把它当成一个全天候 AI 助手来用,主要干了整理邮件摘要和规划本地活动这两件事。体验下来觉得确实能帮上忙,但文章没搞懂谷歌为什么要把这个功能单独做成一个产品,而不是直接塞进现有的 Gemini 里。正文没披露这东西什么时候正式上线、要不要另外收费。

推荐理由:TechCrunch 编辑把谷歌 Gemini Spark 当全天候助手实测,用于整理邮件摘要和规划本地活动,这类常驻助手在真实任务中的完成度是这条的主要看点。

AI HOT 精选

Google 把两个新图像模型 Nano Banana Pro 和 Nano Banana 2 挂上了 Gemini API

Google AI Developers 发推说 Nano Banana Pro(对应 gemini-3-pro-image)和 Nano Banana 2(对应 gemini-3.1-flash-image)已经正式发布,可以直接通过 Gemini API 调用。

推荐理由:Google 将 gemini-3-pro-image 和 gemini-3.1-flash-image 两个图像模型以 Nano Banana Pro 和 Nano Banana 2 的名称挂上 Gemini API,开发者可直接调用。

新智元 · 公众号

Anthropic 内部流出一份 Claude 流畅度评分表,最高 11 分,优秀人类能拿 7.5

这份评分表把用户跟 Claude 的对话拆成 11 个可观察的行为指标来打分,满分 11 分。背后的研究用了 9830 组匿名多轮对话,发现高质量对话里 85.7% 都出现了“反复修改追问”这个动作。正文没披露具体评分细则和实验设计细节,目前只能看到评分框架,所以这个 7.5 分到底怎么算出来的还不清楚,先别太激动。

推荐理由:Anthropic 用 9830 组匿名多轮对话拆出 11 项行为指标给用户打分,其中 85.7% 的高质量对话都出现反复修改追问,这条呈现了 AI 公司如何定义高质量使用。

量子位 · 公众号

人大和至知研究院开源了 Claw Agent 的全套训练方案,连数据带模型和评测一起给了

人大和至知研究院放出了一个叫 ClawGym 的 Agent 训练框架,把数据、训练代码和模型权重都开源了。他们合成了 13500 条可执行的任务当训练数据,又做了 200 条任务的基准测试集。

推荐理由:人大与至知研究院开源 ClawGym,把 13500 条可执行任务数据、训练代码和模型权重一并放出,并配套 200 条任务的基准测试集,为 Agent 训练提供了可直接复现的完整起点。

AI HOT 精选

Codex 现在能自己管自己的聊天线程和并行任务了

OpenAI 的 Codex 界面新增了对话线程管理能力,可以自己创建、搜索、整理和固定聊天线程,还能为并行任务启动工作树。这条信息来自 X 上的用户分享,正文没披露具体实现方式、准确率或延迟数据,我会先打个折——目前看起来更像一个便利功能,而不是底层模型能力的升级。

推荐理由:OpenAI 的 Codex 界面新增线程管理与并行任务工作树,可自行创建、搜索、整理和固定聊天线程,关注编码 Agent 工具形态的读者能从中看到界面层能力的一次扩展。

AI HOT 精选

Codex 现在能远程操控你的 Windows 电脑了,目前还是早期体验

OpenAI 给 Codex 加上了 Windows 支持,你可以在手机上用 ChatGPT 应用启动、查看和指挥 Codex 在你 Windows 电脑上干活。官方说这是早期体验,正文没披露收费方式和具体开放范围,我会先打个折——稳定性、权限控制和延迟都还没经过大规模验证,别急着把重要任务全交给它。

推荐理由:OpenAI 为 Codex 加入 Windows 计算机使用功能,可在 ChatGPT 手机应用上启动并指挥电脑端任务,目前处于早期体验阶段。

AI HOT 精选

OpenRouter 加了个服务器端工具,让模型直接生成文件补丁

OpenRouter 在 Responses API 里上线了 apply_patch 工具,模型可以生成 V4A 格式的 diff 来创建、修改或删除文件。服务器端会先校验 diff 语法,不用客户端自己折腾。正文没披露这个校验具体能拦住哪些错误,也没说支持哪些模型。

推荐理由:OpenRouter 在 Responses API 中上线 apply_patch 工具,模型可生成 V4A 格式 diff 来增删改文件,服务端先校验语法,省去客户端处理。

5月29日星期五

The Verge · AI

Adobe 的对话式 AI 助手像个平庸的设计实习生

The Verge 提前试了 Adobe Firefly AI 助手的测试版。它不像常规 AI 工具那样直接生成图片或视频,而是充当一个中间人,用对话的方式替你操作 Adobe 的设计软件。作者说,助手解释每一步编辑思路时讲得很清楚,但最终做出来的效果并不让人满意。正文没提定价、正式上线时间,也没列出完整支持哪些软件。

推荐理由:The Verge 编辑提前试用了 Adobe Firefly AI 助手测试版,它不直接生成图片,而是以对话方式代为操作设计软件,编辑思路讲得清楚但成品效果一般。

AI HOT 精选

小米开源 ControlFoley:给视频配音效,可以按你写的提示词或给的参考音频来

小米大模型应用团队放出了一个叫 ControlFoley 的视频音效生成模型,权重和代码都开源了。它主要解决一个问题:以前模型只能看画面自动猜配什么声音,创作者没法干预。ControlFoley 支持三种用法——用文字描述想要的音效、用文字强行覆盖画面里原有的声音、或者上传一段参考音频让它模仿音色和风格,同时还能保证声音和画面动作对得上。

推荐理由:小米开源 ControlFoley,让视频音效从只能由模型自动猜测变为可用文字或参考音频指定,同时保持声音与画面动作对齐。