Black Forest Labs 访谈:Andreas Blattmann 与 Dustin Podell 谈如何构建视觉智能
Black Forest Labs 的 Andreas Blattmann 与 Dustin Podell 在访谈中解释了 FLUX 3 联合训练图像、视频和声音的思路,以及向视频和世界模型发展的方向。
Black Forest Labs 的 Andreas Blattmann 与 Dustin Podell 在访谈中解释了 FLUX 3 联合训练图像、视频和声音的思路,以及向视频和世界模型发展的方向。
Runway 发布机器人控制模型 Praxis-1 的开放权重和源代码,采用允许商业使用的 Apache 2.0 许可证。模型基于视频预训练,结合摄像头图像、文本指令和机器人位置信息预测环境变化并生成动作,在 Runway 自行开展的 RoboLab-120 测试中成功率为 46.2%,位列 World Action Model 类别第一、总榜第五,结果尚未经独立核验。
红果短剧按实际观看时长分账并清理同质化作品,《持械入宋》团队以零投流、前期剧本打磨和共享参考图库应对制作与收入压力。团队自述该剧累计播放超 40 亿次,10 季共 1000 集、算力累计投入超 100 万元,通过减少并行项目和废片生成降低每月算力总消耗。文中团队的营收与播放数据未经第三方审计,《持械入宋》主创否认外界估算的千万回报,称尚未细算总账。
Adobe 在年度 Max 大会上公布多项实验性 AI 工具:Project Sight Span 可将任意平面图像转为可导航的 3D 场景并从新视角重新取景。
Amazon 推出 Ring Drone Cam 安防无人机和 Ring Rover Cam 自主安防机器人,后者面向企业,售价 $1,000,已开放预订,计划于 2026 年 12 月 16 日发货。
Nvidia 推出 GR00T 2,通过同时预测动作和未来视频画面,将人类示范中的动作迁移到机器人,减少新任务训练所需的遥操作。模型使用约 400,000 小时的人类视频训练,实验中未经对应任务遥操作的机器人完成点火柴、切香蕉等任务,成功率介于 10%–80%。系统尚不处理直接触觉传感数据,配合高层语言模型规划时也存在延迟,垃圾分类测试中机器人约三分之一的时间处于等待状态。
Adobe 在 MAX 活动上宣布为 Photoshop、Premiere 和 Firefly 等产品增加 AI 创作功能,并发布本地 MCP,向外部聊天机器人开放更多 Creative Cloud 功能。
Adobe 在今天的 Max 活动上宣布更新 Photoshop、Lightroom 和 Premiere,简化视频对象移除、图像细节修复和皮肤瑕疵处理。
Adobe 在 Max 大会上宣布多项智能体功能,包括 Creative Cloud 本地 MCP 接入预览、后台持续运行的智能体和 Firefly AI Assistant 升级。
Video Rebirth 发布 MiniMax-H3 的压缩版 HyperFlow H3 Flash,将约 31B 的 Transformer 压缩至 13.7B 或 13.9B,默认以 6 步同步生成视频与立体声音频。
Pangram 发布 Pangram Image 1.0 和 Pangram Image Flash 1.0,分别侧重 AI 图像检测和更快速的 AI 视频检测。
Google DeepMind 将视频生成模型 Gemini Omni 1.2 Flash 全面开放,片段最长15秒,价格较前代降低30%。视频时长由此前最长10秒扩展至3至15秒,720p价格降至$0.07 per second;对话式编辑支持逐步调整背景、光照或宽高比,无须重新生成整个片段。
Google 推出 Gemini Omni 1.2 Flash,在 Gemini API 和 Gemini for business 正式开放,原生视频生成及编辑时长由10秒增至15秒。
推荐理由:Gemini Omni 1.2 Flash 支持在同一视频上连续修改细节,减少广告变体制作中整段重新生成的需要。
Google DeepMind 发布 Gemini Omni 1.2 Flash,在 Gemini API 和 Gemini for business 全面开放,支持原生生成和编辑最长 15 秒的视频。
推荐理由:Gemini Omni 1.2 Flash 支持对同一视频进行多轮局部修改,减少制作广告变体时重新生成整段视频的成本。
Grimes 将为 AI 生成的科幻电影 Gods Don’t Give Gifts 提供肖像与配音,该片计划于 12 月 4 日在影院上映。影片由 AI 工作室 Fable 制作、Jack London(网名 Gossip Goblin)执导,以四个相互关联的故事描绘身体可被抛弃、意识被商品化的未来。Fable 预计,在使用 AI 的动画电影中,将演员肖像与其配音结合的选角方式会更常见。
AT&T 的 Connected Life 家庭安防系统现已集成 Gemini for Home,成为首个接入 Google Home Premium 的家庭安防产品。该功能可对摄像头事件生成详细描述、用自然语言搜索录像并查看每日活动摘要,但仅随每月 29.99 美元的 Connected Life 专业监控套餐提供。AT&T 还新增了基于用户与住宅距离自动布防或撤防的能力。
Kino AI 推出集素材存储、视频编辑和审阅链接于一体的编辑器,让团队成员与 Codex、Claude Code 在同一时间线上协作。编辑器基于 Remotion,将剪辑、动态图形、评论及 3D 场景表达为代码,并为项目、素材乃至单帧提供 URL,支持实时协作与 MCP 接入。
Own Your HackerTube 受 Karpathy 的 HackerTube 启发,让用户创建个人网站,由 AI 按自定标准每天筛选关注频道的新视频。
Google 将实验性 AI 应用 Dreambeans 推向印度,这是其首个美国以外市场,支持包括印地语、旁遮普语、泰米尔语在内的 13 种本地语言。该应用接入 Calendar、Gemini、Gmail、Photos、Search 和 YouTube 等 Google 服务,无需提示词即可生成个性化图文故事,近期还加入 Veo 模型为部分故事生成动画。
skill-video-studio v1.0.1 提供本地产品视频制作工作区,由 Claude Code 的 /devrel-video 技能协调现有工具。它使用 Playwright CLI 捕捉真实产品交互、HyperFrames 合成画面、FFmpeg 完成成片处理与检查,并可选添加旁白、音乐、字幕或自备出镜素材。
VHS Camera 是一款浏览器端免费 VHS 滤镜工具,可实时拍摄或上传视频,加上色度溢出、磁带噪声和日期戳,效果基于 ntsc-rs 模拟模拟视频编码与录制过程。所有处理在本地设备逐帧完成,视频和照片不会上传服务器,无需注册安装,支持 iPhone 和 Android 的 Safari、Chrome。上传的 MP4、MOV、WebM 可保存为带原声的 MP4,照片存为 JPG。
Google 牵头的研究团队提出 StreamVibe,让视频智能体识别明确、隐含及变化中的用户意图,自行判断何时提供帮助。团队基于超过 183 小时的录像构建约 4,100 个样例,并训练 StreamVibe-VL,结合强化学习和独立记忆系统减少打断、跟踪任务进度。
Figma Weave 将图像与视频的生成、编辑串联成可调整和复用的节点工作流,支持团队共同探索与迭代创意。用户可通过分支比较不同提示词和 AI 模型的结果,并将工作流封装为 Weave tool,让同事上传素材后直接运行。Figma node 可连接 Figma Design 中的画框,原始画框的修改会同步到 Weave 中的关联节点。
Genie 4 采用视频模型与三个 Gemini 模型协作的架构,文章据此分析世界模型端到端路线的局限、算力成本与工业应用方向。文中称,外围模型分别承担训练阶段的常识补充、运行阶段的任务引导和机器人棋步推理,单次交互虽延长至两分钟,仍无法保证全程一致性。文章区分视觉渲染、物理模拟与动作规划,主张由代码和三维网格管理空间规则、语言模型负责规划,世界模型负责合成供智能体训练的复杂环境。
Pika Labs 基于 MiniMax H3 进行后训练,推出并开源视频生成模型 Pika H3 Flex。其采样步数从50步压缩到6步,生成时间大幅降低,质量有所提升。
Overtone 用一个 .overtone.json 文件保存逐词时间和说话人信息,并为不同画幅分别切分字幕,提供 CLI 和 video.js 插件。已有 SRT 或 WebVTT 可离线重新切分;音视频转录默认结合 OpenAI 与 Azure AI Speech,使用 LLM 纠错,也支持通过 whisper.cpp 和 Ollama 本地运行。
腾讯混元发布交互式视频世界模型 Hy-Nomas 的技术报告(arXiv:2610.36729),并开源 Hy-Nomas-Bench 数据集用于可复现研究。官方用 Hy-Nomas 重现 Genie 4 示例并发布对比视频,演示无需排队即可试用,地址为 https://hy-nomas.hy.tencent.com/。
LangChain 开源自研设计智能体 Content Studio 的运行框架,并解析如何将设计判断、制作工具与协作流程接入 Slack。Content Studio 基于 Managed Deep Agents 构建,可从单条提示词制作视频、社交图像、UI 复刻图和幻灯片,所有产物均以代码构建,已交付超过 3,000 份素材,包括超过 80 套幻灯片。
推荐理由:LangChain 将设计师反馈沉淀为技能与检查,并用分镜审批和异步子智能体组织制作流程,让品牌判断与执行步骤分别得到约束。
Google DeepMind 于周二发布 Genie 4 研究预览,新增实时音频与模拟中的提示词编辑,生成更逼真、可交互的世界。模型可实时改变天气、镜头角度或添加人物与物体,保持场景一致性最长两分钟,是前代的两倍,但仍存在细节漂移、音频准确性和场景文字可读性问题。
Petroly 开发者用 Claude Code 编写 JavaScript 渲染器,制作了带单元测试的 15 秒宣传视频,全程未使用视频编辑器。渲染流程通过 SVG、sharp 和 FFmpeg 生成 375 帧,测试检查通知是否在价格达到目标后出现、列表排序及画面异常,视觉效果仍由人工审阅。
推荐理由:Petroly 开发者用 Claude Code 将视频写成可测试的渲染代码,把动画时序检查与多语言版本维护纳入同一套软件工作流程。
Apple 宣布更新 Apple Creator Studio,Final Cut Pro 集成 MotionVFX,Keynote、Pages、Numbers 新增测试版 AI 助手与 MCP 支持。
Corridor Digital 发布 CorridorKey 2.0,本地运行的抠像工具支持 Resolve、Nuke、After Effects、Premiere 和 Blender,一次购买包含全部插件,无需订阅。
Runway 发布 App Studio,用户可用自然语言构建带独立界面的创意应用,调用图像、视频和音频模型及 Brand Kits、Workflows 等资源。
Krea 发布 Krea for Adobe Premiere,用户无需离开时间线即可完成故事板、生成视频和添加音效。插件现已开放试用。
Runware 在 Kling 4.0 发布首日将其接入 API,支持生成最长 30 秒的 1080p 视频及原生音频。功能包括首、中、尾多关键帧、单请求最多 15 个输入,以及基于提示词的已有片段编辑;输入可包含关键帧、参考图、参考视频与元素。
Grok 发布 AI 生成版《奥德赛》的前七分钟,将其称为《奥德赛》系列第一集。三个月前,Elon Musk 曾宣布将推出一部“历史准确”的长片版本;此次作品由 Grok 与 Wonder Studios、导演 Dev Walker 合作制作。TechCrunch 作者 Anthony Ha 观看后认为,部分镜头接近真人实拍,但冗长旁白、生硬对白和缺乏推进感的叙事削弱了观看吸引力。
尼康认定清华大学宁旭的参赛视频违反规则,撤销其第16届 Small World in Motion 显微摄影比赛冠军。研究人员发现视频中的细胞结构异常及疑似 AI 生成水印,宁旭承认在后期处理中使用 AI,但否认用其生成视频、纤毛或运动。冠军改授越南的 Nguyen Nam Nhat,尼康表示将重新审视未来参赛作品的规则和评审流程。
BBC《蓝色星球 III》刻意保留浮游生物、船只等不完美画面,以证明素材真实、非 AI 生成。执行制片人 Elizabeth White 称,过去会因水质不佳或杂物入镜而剪掉的镜头这次全部保留。片中呈现海豚用海绵堵洞围捕鱼群、鱼类跨物种交流,以及 20 万只螃蟹列队觅食。
fal 宣布 Kling 4.0 正式向公众开放,所有客户均可通过 API 访问。该模型支持最长 30 秒带音频的原生视频生成、最多 15 个图像/视频/元素参考,以及最多 10 个关键帧的精确控制。运动、角色一致性和电影感叙事表现也得到提升。
荷兰另类摇滚乐队 De Staat 的新歌《FREEDOM》官方 MV 在 00:44 处出现由 Fake it or Leave it 的 Matties Grooten 负责的视觉特效,相关片段被 Hacker News 用户 flir 发帖讨论。该帖标签包含 music、ai、generative-ai 以及 pelican-riding-a-bicycle。