跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 501–520 条 · 共 592 条

4月17日星期五

X · @op7418(歸藏)

Seedance 2.0 API 全量开放,支持文图音视频四种输入,还能做人脸登记和肖像授权

火山引擎把 Seedance 2.0 的 API 全量放出来了,国内走火山引擎,海外走 BytePlus。这个接口一次能接收文字、图片、音频、视频四种输入,也开放了人脸登记和肖像授权功能,可以直接用自己的脸生成视频,平台还预置了一批虚拟人像特征。正文没提价格、调用频率限制、模型版本和地区可用性,这些得自己去查。

推荐理由:火山引擎将 Seedance 2.0 的 API 全量开放,接口支持文字、图片、音频、视频四种输入,并开放人脸登记与肖像授权,为视频生成接入提供了合规路径。

Latent Space

Anthropic 发布 Claude Opus 4.7:每个推理档位都压过 4.6 一头,还新增了 xhigh 模式

Anthropic 推出了新旗舰模型 Claude Opus 4.7,价格没变,还是每百万输入/输出 token 收 5 美元和 25 美元。最直观的变化是性能档位全面上移:4.7 的低档(low)比 4.6 中档强,中档比 4.6 高档强,高档则超过了 4.6 的 max 档。

推荐理由:Anthropic 发布 Claude Opus 4.7,价格与 4.6 持平,但低档性能已超过 4.6 中档,各档位整体上移一档。

Hacker News 首页

Qwen3.6-35B-A3B 在我笔记本上画的鹈鹕,比 Claude Opus 4.7 画的还好

Simon Willison 在他的 MacBook Pro M5 上跑了一个 20.9GB 的 Qwen3.6-35B-A3B 量化版模型,让它和 Anthropic 刚发的 Claude Opus 4.7 比画 SVG 鹈鹕。结果 Qwen 画的自行车骨架是对的,Opus 却把车架画错了,连试两次都没救回来。

推荐理由:Simon Willison 在 MacBook Pro M5 上运行 20.9GB 的 Qwen3.6-35B-A3B 量化版,与 Claude Opus 4.7 同题生成 SVG 鹈鹕,Qwen 画对自行车骨架而 Opus 两次都画错车架。

X · @dotey(宝玉)

browser-use 开源 video-use:对着摄像头录完素材,跟 Claude Code 聊两句就能拿到剪好的视频

browser-use 团队把 video-use 开源了,这是一个 Claude Code 技能,你把录好的素材丢进文件夹,告诉 Claude 要剪成什么样,它就能自动裁掉“嗯”“呃”和空白段、调色、加字幕,还能用 Manim 或 Remotion 生成动画叠加层,最后输出 final.mp4。

推荐理由:browser-use 把 video-use 开源为 Claude Code 技能,录好的素材交给它就能自动完成去口癖、调色、字幕和动画叠加并输出成片。

4月16日星期四

X · @dotey(宝玉)

Anthropic 发布 Claude Opus 4.7,定价没变,但账单可能因为新分词器微涨

Claude Opus 4.7 上线了,API 名叫 claude-opus-4-7,输入每百万 token 5 美元、输出 25 美元,价格和 4.6 一样。这次主要升级了自主编程能力,能独立跑完更复杂的任务,还会自己验证结果再汇报。视觉方面,长边支持到 2576 像素,是之前的三倍多,截图不用再压缩了。

推荐理由:Anthropic 上线 Claude Opus 4.7,定价与 4.6 持平,自主编程和视觉长边 2576 像素是主要变化,新分词器可能让同样任务的 token 消耗上升。

X · @op7418(歸藏)

Anthropic 发了 Claude Opus 4.7,加了自我验证和更细的视觉能力,价格没涨

Claude Opus 4.7 已经在所有产品和 API 上线,价格跟 Opus 4.6 一样。这次主要让模型能干更长时间的活,指令跟得更紧,汇报前会自己先检查一遍输出,减少人工盯着。视觉方面能看清长边最长 2,576 像素的图,比之前精细不少。

推荐理由:Claude Opus 4.7 已在所有产品和 API 上线且价格与 Opus 4.6 持平,模型能处理更长任务、输出前自行检查,视觉输入长边上限提至 2,576 像素。

Hacker News 首页

Anthropic 发布 Claude Opus 4.7,首次在较弱模型上部署网络安全拦截

Anthropic 在 4 月 16 日上线了 Claude Opus 4.7,价格和上一代 Opus 4.6 一样,输入每百万 token 5 美元,输出每百万 token 25 美元。这次更新主要强化了复杂软件工程任务和长流程工作的稳定性,模型会自己检查输出再汇报,视觉分辨率也更高了。

推荐理由:Anthropic 上线 Claude Opus 4.7,价格与上一代持平,重点提升复杂软件工程和长流程任务的稳定性,并在较弱模型上部署网络安全拦截。

Hacker News 首页

通义千问开源 Qwen3.6-35B-A3B:总参数 350 亿,每次推理只激活 30 亿,主打编程智能体

Qwen 放出了一个新开源模型 Qwen3.6-35B-A3B,用的是混合专家架构,总参数量 350 亿,但实际干活时只调用 30 亿参数,跑起来很省资源。

推荐理由:通义千问开源 Qwen3.6-35B-A3B,350 亿总参数下每次推理只激活 30 亿,面向编程智能体,低激活量在部署成本上的取舍是这条的核心看点。

r/LocalLLaMA

Qwen 放出 Qwen3.6-35B-A3B,35B 总参数只激活 3B,开源可商用

Qwen 发了个新模型,叫 Qwen3.6-35B-A3B,用的是稀疏 MoE 架构,总参数量 35B,但每次推理只激活其中 3B 参数,跑起来会比较省资源。采用 Apache 2.0 协议,可以商用。官方说法是它在写代码、处理多模态任务上表现不错,还支持“思考”和“不思考”两种模式,能直接塞进业务流程里干活。

推荐理由:Qwen 开源 Qwen3.6-35B-A3B,35B 总参数每次推理只激活 3B,并以 Apache 2.0 协议允许商用,稀疏 MoE 的省资源路线是这条的主要看点。

Hacker News 首页

Darkbloom:用闲置 Mac 跑加密推理,号称比 OpenRouter 便宜七成

Eigen Labs 搞了个叫 Darkbloom 的去中心化推理网络,把一亿多台苹果芯片 Mac 的闲置算力攒起来卖。它提供兼容 OpenAI 的 API,主打端到端加密和硬件验证,说操作节点的人看不到你的数据。价格表上列出的 token 费用比 OpenRouter 低 50%,不是标题里的 70%,这点先打个折。

推荐理由:Eigen Labs 把一亿多台苹果芯片 Mac 的闲置算力组成去中心化推理网络,提供兼容 OpenAI 的 API 并主打端到端加密,其 token 费用比 OpenRouter 低 50%。

TechCrunch · AI

谷歌给 Mac 做了个原生 Gemini 应用,快捷键一按就能用

谷歌在 4 月 15 日上线了 Gemini 的 Mac 原生应用,要求 macOS 15 以上系统。跟之前用网页版不同,现在按 Option + 空格就能在任何界面呼出它,不用切窗口。你可以把当前屏幕内容或本地文件直接丢给它,让它帮你总结图表、核对日期或写公式。应用还内置了 Nano Banana 生图和 Veo 生成视频的功能。

推荐理由:谷歌为 Mac 推出 Gemini 原生应用,按 Option 加空格即可在任意界面呼出,并支持把屏幕内容或本地文件交给它处理。

4月14日星期二

最佳拍档

H100 租赁价五个月涨近 40%,全球 GPU 算力全面断供

SemiAnalysis 的报告显示,从 2025 年 10 月到 2026 年 3 月,英伟达 H100 的一年期租赁价格从每小时每 GPU 1.70 美元涨到了 2.35 美元,涨幅接近 40%。现在想租一个 64 块 GPU 的小集群都很难,现货市场基本无货可租。

推荐理由:SemiAnalysis 报告显示 H100 一年期租赁价五个月从每小时 1.70 美元涨到 2.35 美元,64 块 GPU 的小集群现货已难租到,算力供需紧张落到具体价格上。

4月11日星期六

量子位 · 公众号

上海AI实验室把OpenClaw那套方法搬到了多模态生成上,6B小模型在部分任务跑赢了Nano Banana 2

上海AI实验室的团队搞了个叫GEMS的方法,给多模态生成模型加上了Agent循环、记忆和技能模块,相当于让模型在生成图片时能自己规划步骤、记住中间结果。他们用6B参数的Z-Image-Turbo做实验,在5个主流任务上平均提升14.22分,在4个下游任务上比之前最好的基线又高了8.92分,部分指标超过了Nano Banana 2。

推荐理由:上海AI实验室把Agent循环、记忆和技能模块引入多模态生成,6B模型在5个任务上平均提升14.22分,部分指标超过Nano Banana 2。

量子位 · 公众号

刘壮陈丹琦团队开源Vero:一个通用视觉推理强化学习框架,没用到任何思考数据就刷新了SOTA

普林斯顿刘壮和陈丹琦团队开源了Vero,一个用强化学习训练视觉推理模型的通用框架。它从59个数据集里筛出60万条样本,按六类任务分别给奖励,单阶段RL训练后,在30个基准里有23个超过了Qwen3-VL-8B-Thinking。最值得看的是它没用到任何私有的思考数据,纯靠任务路由奖励机制让模型学会推理。

推荐理由:普林斯顿刘壮和陈丹琦团队开源的Vero,从59个数据集筛出60万条样本,按六类任务分别给奖励,单阶段强化学习后在30个基准中23个超过Qwen3-VL-8B-Thinking。

量子位 · 公众号

中国具身模型在 MolmoSpace 基准上拿了第一,同时开源了 10 万小时人类操作数据集

Psibot 说他们的 Psi-R2 模型在 AllenAI 的 MolmoSpace 基准上排到了第一,但正文没披露具体任务设置和完整对比基线,所以这个“第一”的含金量得先打个折。他们同时放出了一个 100,889 小时的操作数据集,其中 95,472 小时是人类数据,5,417 小时是机器人数据,目前只开源了 1,000 小时。

推荐理由:Psi-R2 在 AllenAI 的 MolmoSpace 基准上排到第一,同时放出 100,889 小时操作数据集,其中人类数据占 95,472 小时,目前开源 1,000 小时。

4月10日星期五

量子位 · 公众号

腾讯开源3B模型HiVG,用“分段打包”把SVG序列缩短六成,生成质量对标GPT和Claude

腾讯混元放出了一个30亿参数的开源模型HiVG,专门把图片转成SVG矢量图。它的核心思路是把绘图指令和坐标打包成“段token”,再用一个叫HMN的模块给坐标编码做初始化,让模型更懂几何关系。这样生成的SVG代码序列比传统方法短了62.7%到63.8%,省token就是省钱。

推荐理由:腾讯混元开源30亿参数模型HiVG,把绘图指令和坐标打包成段token并初始化坐标编码,生成的SVG序列比传统方法短约六成。

4月9日星期四

量子位 · 公众号

腾讯推出MoT架构,2B参数的具身模型在22项评测里拿了16项第一

腾讯混元与Robotics X联合发布了HY-Embodied-0.5,核心是一个叫MoT-2B的模型。它总参数量4B,实际干活时只激活2B,在22项具身智能评测中拿了16项第一。训练数据量不小:用了超过1亿条具身数据、600B以上的预训练token、3000多万条中期训练样本,还引入了视觉隐空间token、双向注意力、RFT、强化学习和在线蒸馏。

推荐理由:腾讯混元与Robotics X发布HY-Embodied-0.5,其MoT-2B模型以4B总参数、2B激活参数在22项具身智能评测中拿下16项第一,训练数据与架构细节均有披露。

X · @op7418(歸藏)

小扎挖的团队交卷了:Meta 发 Muse Spark,多模态推理但暂不开源

Meta 把之前挖来的团队做的第一个模型 Muse Spark 放出来了。它原生支持多模态推理,能看图、用工具、展示视觉思维链,还能让多个 Agent 并行干活。有个叫“沉思”的模式,就是协调多个 Agent 一起推理。

推荐理由:Meta 发布挖角团队打造的 Muse Spark,原生支持多模态推理与多 Agent 并行,其沉思模式可协调多个 Agent 共同推理。

4月8日星期三

量子位 · 公众号

小米放出两个语音生成框架,想让普通人也能当“声音导演”

小米大模型应用团队公开了 Any2Speech 和 Midasheng-audio-generate 两个框架。Any2Speech 一次推理能生成最长约 10 分钟的语音,Midasheng 则能根据一段文字描述直接合成包含人声、音乐和环境音的混合音频。

推荐理由:小米大模型应用团队公开 Any2Speech 与 Midasheng 两个语音框架,前者单次推理可生成约 10 分钟语音,后者能按文字描述合成人声、音乐与环境音的混合音频。

量子位 · 公众号

DeepSeek 深夜更新网页版,新增快速和专家模式,灰度测试视觉模型

DeepSeek 网页版悄悄加了两个模式:快速模式主打日常对话,专家模式则专攻代码、网页搜索和更难的生成任务。有用户通过对话套话,模型自己说专家模式就是 V4,但官方没发公告,正文也没披露模型 ID、上下文规格、定价和发布时间,这点先别太激动。目前专家模式限量供应,不支持多模态和文件上传,有用户测出上下文上限大约 13.3 万 token。

推荐理由:DeepSeek 网页版新增快速与专家两种模式,专家模式限量供应、不支持多模态和文件上传,有用户测出上下文上限约 13.3 万 token。