跳到正文

#部署/工程

今日 11 条

10月29日星期四

AI HOT · 模型

Mistral Large 4(Le Chonk)登陆 Hugging Face,开放约 1T 参数多模态模型权重

Mistral Large 4(Le Chonk)在 Hugging Face 开放权重,采用多模态、多语言 MoE 架构,支持文本和图像输入、文本输出。模型约有 1T 总参数、49B 激活参数和 1M tokens 上下文窗口,提供 FP8、NVFP4 官方版本,许可证对模型即服务业务设有限制。

推荐理由:Mistral Large 4开放权重并提供多种部署路径,让安全团队能够自行控制漏洞复现与修补任务的使用政策和运行环境。

The Verge · AI

Anthropic 正要求华尔街相信 AGI,上市财务背后有哪些增长假设?

Anthropic 已提交 S-1,计划在 Nasdaq 上市,Decoder 访谈剖析了其财务表现与追逐 AGI 的商业风险。

推荐理由:SemiAnalysis 分析师梳理 Anthropic 的收入来源与客户支出,未来增长预期依赖编码之外的企业需求扩大。

MIT Technology Review · AI

AI 智能体亟需实时行动监控,现有框架的可观测性存在缺口

AI 智能体需要实时行动监控,但两位作者对四个广泛使用的智能体框架开展的研究发现,现有框架缺少支撑安全监督的关键记录。缺口包括持续有效的智能体身份标识、人类批准与干预记录,以及权限和记忆变更记录,妨碍识别未经授权的行动。作者主张通过 OpenTelemetry 等基础设施补足行动记录,同时指出,用于记录决策过程的 CoT 是否忠实反映模型决策、决策置信度能否可靠衡量,仍是开放研究问题。

The Verge · AI

AI 数据中心扩张如何加剧亚利桑那州的水资源争议

亚利桑那州居民围绕 AI 数据中心扩张发起跨党派反对行动,水资源短缺与地方经济回报成为争议核心。Beale Infrastructure 的 Project Blue 在图森拒绝土地并入后继续建设,并改用闭环空气冷却,开发商与反对者对其间接耗水影响存在分歧。

AI HOT · 产品

OpenRouter 重建默认路由算法:TTFT 降低 16.9%,429 错误减少 67%

OpenRouter 更新默认服务商路由算法,将实际价格、延迟、吞吐量、可靠性和输出质量纳入选择,已启用模型的默认路由用户无需修改代码。一周实验显示,TTFT p50 降低 16.9%,吞吐量 p50 提高 16.3%,429 错误减少 67%,每请求成本增加 6.0%。会话仍固定到原服务商以保持缓存热度,用户也可通过 provider.sort 设置 price 保留低价优先路由。

AI HOT · 技巧与观点

OpenRouter 教程:用 LLM 从 PDF 中抽取表格

OpenRouter 教程通过发送 PDF 和严格 JSON schema,将表格抽取为带明确数据类型的行,并用字段描述处理括号负数、脚注和合并单元格。测试覆盖 5 份 PDF,其中 2 份为扫描件,直接读取 PDF 的模型均正确抽取全部 644 个单元格,这一结果仅代表该测试集。

推荐理由:OpenRouter 将严格行结构与字段清洗规则用于 PDF 表格抽取,并用空结果和输出截断检查捕获正常响应中的漏行风险。

AI HOT · 行业

Alphabet Q3 财报:年化收入达 5000 亿美元,Google Cloud 收入增长 103%

Sundar Pichai 发布 Alphabet Q3 业绩,年化收入 run rate 达 5000 亿美元,总收入同比增长 25%。Google Cloud 收入增长 103%,1P 模型 API 每分钟处理近 32B tokens,环比增长 40%。Search 查询同比增速为五年来最高,他还提到 Argon、Carbon 领跑前沿及最新世界模型 Genie 4。

推荐理由:Alphabet 披露 Q3 总收入同比增长 25%,Google Cloud 收入增长 103%,云业务增速高于整体收入增速。

Hacker News 首页

大型科技公司的用水渴求正引发全球抵制

加州大学研究估算,训练初版 ChatGPT 背后的大语言模型耗水 18.5 万加仑,超大规模数据中心每天可消耗 100 万至 500 万加仑水,相当于 1 万至 500 万人口城市的用水量。

Latent Space

为什么 AI 智能体偏爱 Supabase?创始人访谈解析后端建设与扩展

Supabase 通过简化本地开发、提供声明式数据库结构和近数据库计算,减少 AI 智能体构建与运行应用的后端配置工作。无需 Docker 的本地运行环境已进入 alpha,声明式结构让智能体在 Git 中读取和修改目标数据库状态,处于 private alpha 的 Supabase Compute 支持在数据库附近运行容器。

AI HOT · 产品

Microsoft 通过 Foundry 开放 Copilot harness,支持多模型智能体开发

Microsoft 通过 Microsoft Foundry 开放 Copilot harness,为开发者和企业提供构建多模型智能体的全托管方式。该运行编排层由 GitHub 工程团队开发,支持 20+ 前沿模型、自带密钥、MCP、智能体技能及插件,可按任务路由至合适的模型。

推荐理由:Microsoft 通过 Foundry 开放托管式 Copilot harness,让开发者在保留模型选择的同时减少智能体运行层的维护负担。

Hacker News 首页

Converge(YC S23)招聘首位平台工程师

Converge 正在纽约招聘首位平台工程师,负责为自动投放和扩展广告的 AI 智能体构建平台,薪资 $180K-$240K 加 0.3%-0.5% 股权。公司现有 13 人、3 名产品工程师,系统已处理 $6 billion 年收入规模、每月摄取 20 TB 数据、峰值 10,000 jobs/s。

AI HOT · 技巧与观点

Claude Code 触发用量上限后如何用 OpenRouter 继续编码

Claude Code 触发套餐用量上限后,可通过 OpenRouter 按 token 付费继续使用 Claude 模型,不受五小时和每周窗口限制,但受账户余额及预算限制。

推荐理由:OpenRouter 用独立 shell 函数为 Claude Code 配置按 token 计费的备用入口,保留原套餐命令以便额度重置后切回。

Computing Life · Share · 鸭哥调研

对话状态该由谁托管:SGLang 押注推理引擎的设计取舍

SGLang 的统一交互运行时将推理引擎的基本单位从单次请求改为持续会话,以统一实时语音的轮次、打断和历史截断规则。分析指出,原生全双工更依赖引擎内的会话控制,级联架构主要获得接口与评测便利,前台语音加后台委派所需的异步任务能力尚未完成。状态常驻引擎会增加迁移成本,SGLang 目前不支持断线恢复,评估锁定风险还需检查会话接口的私有扩展及状态能否导出重建。

10月28日星期三

Hacker News 首页

CaseCite 开源自托管法律 AI 研究平台,称对标 Harvey

CaseCite 是采用 Apache License 2.0 的开源自托管法律研究平台,支持文档问答、合同审查、起草及案例与法官研究。文档、索引和聊天记录保存在自有部署中,但 AI 功能会向配置的服务商发送问题和相关文本;要让文档文本留在内网,需同时自托管聊天模型和嵌入向量模型。

The Verge · AI

得克萨斯州选民跨党派反对数据中心,建设争议进入选战

得克萨斯州数据中心建设遭遇跨党派反对,水电、土地和税收争议成为中期选举议题。8 月民调显示,57 percent 的得州居民反对建设数据中心,数十个团体组成 We the People Texas 联盟,推动停止或延缓项目。州长 Greg Abbott 已宣布暂停许可并审查用水用电,但联盟批评审查未覆盖自建电源项目,已有许可的项目也仍在建设。

Computing Life · Share · 鸭哥调研

实时语音智能体架构解读:两个选择和一层委派

实时语音智能体可按组件拆分、轮次判断和后台委派,分为级联、轮次式、原生全双工、原生前台加委派四类架构。级联便于日志审查和组件替换,原生全双工侧重自然交互,GPT-Live 则将即时接话与后台复杂任务分开,应用负责函数执行、权限检查和用户确认。选型应从场景中不能牺牲的要求倒推,文中团队为手机语音助手选择原生前台加委派,为桌面本地指令入口选择级联。

Hacker News 首页

Hex 融资 $100M,并推出从头重写的 Hex 4.0

Hex 完成 $100 million 融资,估值为 $1.2B,由 PeakXV 和 137 Ventures 领投。公司同时推出从头重写的 Hex 4.0,以普通代码为基础,强调数据工作的上下文、控制与治理。重写旨在解决旧架构中智能体工具膨胀、外部智能体接入受限,以及计算引擎难以支持高速、高并发迭代工作流的问题。

Latent Space

Anthropic 如何分离模型“大脑”与智能体“双手”,安全交付 Claude

Katelyn Lesse 与 Angela Jiang 在 Latent Space 访谈中讲解 Claude Platform 的工程设计,涵盖 Opus 5.5 发布、API 扩展和可靠托管智能体的构建。访谈重点包括模型、执行框架与沙箱的解耦,以及隔离、凭据保护、网络控制和跨上下文窗口维持任务进度。新录制的导言补充了 Anthropic 的 S-1、改进与投资循环及平台意义。

Latent Space

Anthropic 如何用 Claude 交付 Claude:分离智能体的大脑与双手

Anthropic 的工程与产品负责人在访谈中解释如何用 Claude Platform 的共同基础组件构建自家产品,并协调模型发布、安全与扩容。Managed Agents 将会话日志和运行框架与代码执行沙箱分离,使沙箱故障不必终止整个会话,服务凭证则独立保存并通过代理附加。Opus 5.5 的发布还涉及防知识蒸馏的 API 集成调整,以及客户在各自运行框架中开展评测并反馈异常行为。

推荐理由:Anthropic 将智能体会话与执行沙箱分离,把状态持久化、故障恢复和凭证隔离拆成独立的架构问题。

AI HOT · 技巧与观点

LangChain 解析自研设计智能体 Content Studio,并开源其运行框架

LangChain 开源自研设计智能体 Content Studio 的运行框架,并解析如何将设计判断、制作工具与协作流程接入 Slack。Content Studio 基于 Managed Deep Agents 构建,可从单条提示词制作视频、社交图像、UI 复刻图和幻灯片,所有产物均以代码构建,已交付超过 3,000 份素材,包括超过 80 套幻灯片。

推荐理由:LangChain 将设计师反馈沉淀为技能与检查,并用分镜审批和异步子智能体组织制作流程,让品牌判断与执行步骤分别得到约束。

Hacker News 首页

Formal 如何用 OIDC 让云端智能体查询生产环境,避免分发长期凭据

Formal 使用 OIDC 为云端编码智能体提供可审计、受策略控制的生产数据与云基础设施访问,生产访问保持只读且需人工审批。智能体可通过 Slack 申请短期数据库权限,批准后授权限定到具体会话和数据库,请求日志关联智能体及发起工程师。

AI HOT · 产品

Replit Cloud Agents 向 Pro 与 Enterprise 客户开放企业代码库贡献

Replit Cloud Agents 已向所有 Pro 与 Enterprise 客户开放现有代码库贡献功能,非技术人员可用自然语言提出修改。智能体在隔离云沙箱中运行应用、测试并修复改动,向 GitHub 提交 PR 或向 GitLab 提交 MR,附上截图和视频,并根据审查反馈继续修改。

Computing Life · Share · 鸭哥调研

DeepSeek 开源 DeepInfer:单模型推理引擎为何常比通用引擎快

DeepSeek 开源的 DeepInfer 仅支持 DeepSeek-V4.1-Flash 离线批量推理,文章解析其性能优势来源与开源范围。GPUStack 同机测试中,DeepInfer 总吞吐比 vLLM 高 25.2%,首字延迟却为 4.28 秒对 2.04 秒,双方均关闭投机解码且未充分调优。

Hacker News 首页

spec-first 推出规范优先的 AI 智能体开发插件

spec-first 提供规范优先的 AI 智能体开发插件,每项变更先审查规范,再在独立分支和 worktree 中实现,通过项目检查后才能提交。流程涵盖 create-spec、review-spec、apply-spec 和 deliver-spec,并将决策记录与恢复状态保存在文件中,支持将一系列规范并行构建后合入一个 pull request。

10月27日星期二

Latent Space

如何在喜马拉雅山麓用 OpenCode 与 Qwen3.5 9B 离线编码

Rittika Jindal 在笔记本上通过 OpenCode 和 Ollama 运行 Qwen3.5 9B,断网后完成费用计算程序的修复,原有 5 项测试全部通过。教程给出预下载模型与项目依赖、限制为本地服务、检查断网状态及逐次批准编辑和命令的流程,作者也独立重跑测试并确认测试文件未改动。实测仅涉及一行累加逻辑修复,CSV 报告和日志分析器练习尚未完成离线运行,不能据此判断大型仓库任务的表现。

TechCrunch · AI

Opera 推出 WebAI 标准,让用户在浏览器本地运行 AI 模型

Opera 推出 WebAI 网络标准,让用户直接在浏览器本地运行 AI 模型,无需依赖云端。该功能已在 Opera One 提供早期预览,需用户主动启用,Opera GX 和 Opera Neon 将随后支持;兼容模型包括 Google 的 Gemma 和 Mac 上的 Apple 端侧基础模型。WebAI 支持本地文本生成、内容分类和信息关联理解,相关数据留在设备上,模型性能取决于设备硬件。

TechCrunch · AI

Nvidia 投资印度创企 Simplismart,帮企业用更少 GPU 跑 AI 模型

Nvidia 参与印度创企 Simplismart 的 1400 万美元 B 轮融资,后者估值约 1 亿美元,其软件可优化模型部署,让企业用更少 GPU 运行 AI 模型。Simplismart 称已帮 AI 视频平台 InVideo 将 GPU 服务成本降低 56%,客户还包括 HeyGen、Higgsfield 和 Ema。其年化收入运行率过去六个月增长 14 倍,超半数收入来自美国。

Hacker News 首页

abliterated DeepSeek 模型现已有 5 家推理服务商

AllModels 为 abliterated DeepSeek 模型提供统一接入层,目前已有 5 家推理服务商可用,涵盖 DeepSeek V4.1 Flash Abliterated 与 GLM 5.3 等模型。平台通过单一 OpenAI 兼容 API 路由请求,支持自动故障转移、按价格择优以及仅向支持多模态的服务商转发图像请求。

Computing Life · Share · 鸭哥调研

Cerebras 推理那么快,为什么公共 API 上没有 Kimi K3?

截至10月25日,Kimi K3 仅在 Cerebras 企业专属模型目录提供,文章推测其权重常驻片上的部署需求使公共按量供给难以划算。Cerebras 技术博客的简化计算显示,权重与上下文缓存合计需要59片晶圆,但这不是已披露的实际部署配置。公开渠道尚无 Kimi K3 的第三方速度测试,模型输出提速也不直接加速文件读写和命令执行等工具调用。