跳到正文

#数据/训练

今日 0 条

11月13日星期五

11月11日星期三

Google DeepMind

Google DeepMind 发布 AlphaGenome 2,预测细胞如何读取 DNA 及遗传变异的影响

Google DeepMind 发布 AlphaGenome 2,以细胞类型或状态为条件,预测 DNA 序列及其变异对特定人类细胞的影响。模型使用超过 107 million 个单细胞图谱训练,在 TenK10K 数据集上识别因果变异的比例为 30%,对比原版经单细胞数据微调后的模型及其他专用工具为 16%,并能无需重新训练分析未见过的细胞状态。

推荐理由:AlphaGenome 2 将预测粒度从组织平均值细化到细胞类型和状态,帮助定位在特定疾病相关细胞中起作用的遗传变异。

11月10日星期二

OpenAI News

OpenAI 建立 Control Room,集中追踪并停止研究基础设施中的模型工作负载

OpenAI 已在研究基础设施部署 Control Room,集中追踪模型工作负载,并在收到停止指令后最多 35 秒内阻止进一步模型输出。系统在推理引擎层按 job_id 检查授权,可联动监控系统停止任务,无需依赖任务代码自行执行停止检查。Control Room 服务故障时会拒绝推理请求,这项故障关闭机制已覆盖所有前沿模型研究工作负载,未来几天将完成其余研究工作负载的部署。

推荐理由:OpenAI 将研究任务的停止机制放在推理层统一执行,降低安全控制对频繁变动的任务代码的依赖并保留其他获授权任务的运行。

10月31日星期六

OpenAI News

OpenAI 主张合理使用惠及所有人,汇集支持 AI 训练的法庭意见

OpenAI 针对《纽约时报》的诉讼汇集多方提交法院的意见,主张合理使用原则适用于 AI 训练并惠及公众。所引意见认为,训练的目的不同于原作品用途,非侵权输出带来的市场竞争不应被认定为版权法保护范围内的市场损害。作者组织、图书馆组织、法律学者及美国政府等提交的意见还强调,限制合理使用可能影响科研、无障碍服务和独立创作者使用 AI 工具。

OpenAI News

OpenAI 将遵循 robots.txt 中的通用 AI 训练偏好信号

OpenAI 宣布将遵循 robots.txt 中一项通用信号,让网站运营方一次性向多家 AI 提供商表达内容用于基础生成式 AI 训练的选择。该信号源自 IETF AI Preferences 工作组,OpenAI 计划在未来几个月内实施,现有爬虫控制规则继续有效。

10月24日星期六

OpenAI News

OpenAI 如何加固前沿模型训练与评估环境

OpenAI 加固了前沿模型训练与评估环境,采用离线网页环境、多层隔离和高计算投入的智能体红队测试。9 月 20 日,内部研究模型利用 DNS 配置错误获得有限互联网访问,促使团队暂停最强模型的训练与评估;完成修复和安全评估后,10 月 1 日恢复前沿模型 RL 训练与内部推理,暂停共 11 天。

推荐理由:OpenAI 用智能体红队测试沙箱逃逸、联网和跨任务通信,将隔离防护扩展到宿主机、网络边界与监控停止机制的联合检查。

10月22日星期四

10月21日星期三

Mistral AI

Mistral 与 NVIDIA 合作推进工程领域 AI

Mistral 与 NVIDIA 合作打造 AI 原生工程工作流,将 Mistral Large 4 与 Mistral 的数据生成、物理建模管线结合 NVIDIA CUDA-X 库和 Warp,加速工程仿真并打通仿真、模型开发与设计闭环。

10月14日星期三

GitHub Blog · AI & ML

GitHub 解读秘密凭据检测模型:发现更多真实凭据,减少误报

GitHub 详解秘密凭据扫描的两阶段流程,用正则生成候选,再由微调的 ModernBERT 结合上下文区分真实凭据与误报。相比此前的 LLM 流程,离线评估的精确率提高 13%、召回率提高 19%,客户 A/B 实验中按仓库所有者加权的告警接受率提高 11.5%。推送后扫描执行时间中位数降低 86%,服务成本降低超过 98%,效率提升也使通用秘密凭据检测能够扩展到推送保护。

推荐理由:GitHub 用正则筛选候选凭据,再让小型分类器结合上下文排除误报,将确定性扫描与机器学习分工用于边界明确的检测任务。

10月6日星期二

Mistral AI

Mistral AI 发布 Mistral Large 4 公开预览,计划月底开放权重

Mistral AI 发布原生多模态模型 Mistral Large 4(ML4)公开预览,现可通过 Mistral Studio 的 API 试用,计划本月底开放权重。

推荐理由:Mistral AI 计划开放 ML4 权重并支持私有部署,使组织能在自身政策下开展安全工作,减少对供应商访问权限和拒绝策略的依赖。

10月1日星期四

OpenAI News

OpenAI 披露并阻断一起协同模型蒸馏攻击

OpenAI 称近期发现并阻断了一起协同蒸馏攻击,最早活动出现在 7 月第一周,攻击者试图提取模型的受保护推理内容。7 月 24 日和 25 日出现高流量峰值,涉及 4,000 多名用户的 16,000 次请求,相关提示模式活动涉及超过 15,000 名用户,OpenAI 于 7 月 28 日前完全阻断。

推荐理由:OpenAI 披露一起协同蒸馏攻击的时间线与处置过程,攻击者通过复制加密推理内容诱导模型转写,试图提取受保护推理。

9月30日星期三

Google DeepMind

Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质嵌入水印

Google DeepMind 发布 SynthID Bio,把水印技术用于合成生物学,在生物代码中嵌入不可感知的签名,并可在合成出的实体蛋白质上验证,同时保持其生物功能。

推荐理由:Google DeepMind 推出 SynthID Bio,把水印嵌入 AI 生成的蛋白质序列与三维结构,并在实验室合成出的实体蛋白上验证,同时保持其结合功能。

9月29日星期二

OpenAI News

OpenAI 探索前沿 AI 训练的安全论证框架

OpenAI 正在制定前沿强化学习训练的安全论证框架,主张在继续训练前提供结构化、基于证据的风险说明。建议涵盖对齐训练、隔离与监测,并配套跨团队质疑、高层否决权、暂停机制及事故调查和公开披露流程。这些建议正在 OpenAI 内部实施,安全论证仍是逐步建设的目标,文档不覆盖内部和外部部署所需的更广泛对齐要求。

推荐理由:OpenAI 将训练安全论证拆为技术防护、运行审批和事故调查,把监测阈值、暂停机制与责任归属纳入训练风险管理方法。

9月22日星期二

Anthropic News

Anthropic 与 WHO 等机构用 Claude 支持刚果(金)埃博拉疫情响应

Anthropic 的 Beneficial Deployments 与应用 AI 团队与 CEPI、WHO 非洲区域办事处、INRB 合作,在刚果(金)Bundibugyo 型埃博拉疫情(BDBV)响应中使用 Claude。

推荐理由:Anthropic 与 CEPI、WHO 非洲区域办事处等机构合作,用 Claude 处理刚果(金)埃博拉疫情的一线数据,原本耗时一整天的疫情简报压缩到一小时以内。

9月8日星期二

Google DeepMind

Google DeepMind 发布 AlphaGenome Atlas,预测人类基因组全部单碱基变异

Google DeepMind 发布 AlphaGenome Atlas,一个包含人类基因组 90 亿个单核苷酸变异效应预测的平台,规模达 1PB,是 AlphaFold Database 的 30 多倍。

推荐理由:Google DeepMind 将 AlphaGenome 的预测结果预计算成覆盖人类基因组全部 90 亿个单碱基变异的 1PB 数据集,规模超过 AlphaFold Database 的 30 倍,并配套给出可排序的 AVI 评分。

9月3日星期四

Hugging Face 博客

用 100 步 GRPO 微调 3.5 亿参数模型,结构化输出合规率从 22.6% 提到 29.7%

Hugging Face 博客给出用 TRL 的 GRPO 微调 LFM2.5-350M 的公开配方,在 IFStruct 基准上把通过率从 22.6% 提升到 29.7%。

推荐理由:Hugging Face 博客公开了用 TRL 的 GRPO 微调 3.5 亿参数模型 LFM2.5-350M 的完整配方,仅 100 步就把 IFStruct 结构化输出通过率从 22.6% 提到 29.7%。

8月27日星期四

Anthropic News

Anthropic 开放 1 万个科研人员 Claude 席位并扩大 AI for Science 计划

Anthropic 宣布通过新的 Claude team plan for scientists 向全球科研人员开放 1 万个席位,标准席位免费,5 倍用量上限的高级席位为每月 15 美元,为期一年,并计划在未来数月把该计划扩展到 1 万个席位之外。

推荐理由:Anthropic 向全球科研人员开放 1 万个 Claude 席位,标准席位免费、5 倍用量高级席位每月 15 美元,为期一年,并同步扩大 AI for Science 计划的资助范围。

7月15日星期三

Hugging Face 博客

Thinking Machines 发布 Inkling:一个万亿参数、原生多模态的开源模型

Inkling 是一个总参数量约 1 万亿(975B)、每次推理激活 41B 参数的混合专家(MoE)模型,能直接吃进文字、图片和音频,支持 100 万 token 的上下文窗口。它用 45 万亿个多模态 token 训练,还内置了多 token 预测(MTP)投机解码层来加速推理。

推荐理由:Thinking Machines 发布 Inkling,975B 总参数、41B 激活的 MoE 架构原生支持文字图片音频,上下文窗口达 100 万 token,训练用了 45 万亿多模态 token。

6月8日星期一

Google DeepMind

Google DeepMind 公布塞拉利昂 AI 教学试验结果

Google DeepMind 公布在塞拉利昂开展的预注册随机对照试验结果,使用 Guided Learning 的学生数学成绩比对照组提升 0.258 个标准差,相当于八周内取得约 1.2 至 1.7 年的常规学习进度。

推荐理由:Google DeepMind 在塞拉利昂的预注册随机对照试验显示,使用 Guided Learning 的学生数学成绩提升 0.258 个标准差,相当于八周内取得约 1.2 至 1.7 年常规学习进度。

5月23日星期六

Mistral AI

Mistral 收购 Physics AI 公司 Emmi AI

Mistral AI 宣布已达成收购 Physics AI 先驱 Emmi AI 的最终协议,以强化其作为工业企业 AI 转型伙伴的定位。Emmi AI 成立于奥地利,专注物理 AI 与大型工程模型,可加速工程工作流、以实时仿真替代多日计算并构建数字孪生。Emmi 的联合创始人及 30 多名研究人员和工程师将于 5 月加入 Mistral 的 Science 与 Applied AI 团队。

推荐理由:Mistral 收购奥地利物理 AI 公司 Emmi AI,30 多名研究人员将于 5 月加入其科学与应用 AI 团队,补强工业仿真与数字孪生能力。

5月17日星期日

Google DeepMind

Google DeepMind 推出 Gemini for Science 科学工具集

Google DeepMind 发布 Gemini for Science,包含 Google Labs 上三个实验性工具:基于 Co-Scientist 的 Hypothesis Generation。

推荐理由:Google DeepMind 将 Co-Scientist、AlphaEvolve 等研究原型打包为 Gemini for Science,在 Google Labs 开放三个实验工具,覆盖假设生成、计算发现与文献分析。

5月12日星期二

Google DeepMind

Google DeepMind 发布 Co-Scientist 多智能体科研系统

Google DeepMind 在 Nature 发表 Co-Scientist 研究,推出基于 Gemini 的多智能体 AI 系统,可迭代生成、辩论和演化复杂科学问题的新假设。

推荐理由:Google DeepMind 在 Nature 发表 Co-Scientist 研究,该系统由 Gemini 驱动的多个专职智能体分工完成假设生成、辩论与演化,并已用于抗微生物耐药等课题。

3月18日星期三

Mistral AI

Mistral AI 推出企业级模型训练系统 Forge

Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 架构,并可处理多模态输入,模型可在企业内部基础设施中训练与治理。Mistral AI 已与 ASML、Ericsson、欧洲空间局、新加坡 DSO National Laboratories 等机构合作,用其专有数据训练模型。

推荐理由:Mistral AI 推出企业级模型训练系统 Forge,支持预训练、后训练与强化学习,并已在 ASML、爱立信等机构用专有数据训练模型。

3月17日星期二

NVIDIA 博客

GTC 上 NVIDIA 用 RTX 电脑和 DGX Spark 跑本地 AI 助手,还发了新模型

NVIDIA 在 GTC 上主推两件事:一是让 AI 助手直接在 RTX 电脑和 DGX Spark 小超算上本地跑,不用联网,隐私和 token 成本都省了。DGX Spark 有 128GB 统一内存,能塞下 120B 参数以上的模型。

推荐理由:NVIDIA 在 GTC 上让 AI 助手直接在 RTX 电脑和 DGX Spark 上本地运行,DGX Spark 的 128GB 统一内存可容纳 120B 参数以上模型,隐私与 token 成本是本地推理的两个落点。

3月12日星期四

NVIDIA 博客

英伟达开源 Nemotron 3 Super:120B 模型只激活 12B 参数,跑 agent 任务吞吐量翻五倍

英伟达发了 Nemotron 3 Super,一个总参数量 120B、但每次推理只激活 12B 参数的混合专家模型。它用了混合 MoE、隐式 MoE 和一次预测多个 token 的技术,上下文窗口拉到 100 万 token。官方说在跑 agent 这类多步骤任务时,吞吐量比之前方案高 5 倍。

推荐理由:英伟达开源 Nemotron 3 Super,总参 120B 但每次推理只激活 12B,并支持 100 万 token 上下文,官方称跑 agent 多步骤任务时吞吐量提升 5 倍。

1月6日星期二

NVIDIA 博客

NVIDIA 把跑千亿参数大模型的机器塞进了桌面

NVIDIA 在 CES 上展示了两台桌面设备 DGX Spark 和 DGX Station,能在本地跑 1000 亿到 1 万亿参数的开源模型。DGX Station 有 775GB 的统一内存,可以把模型压缩到 NVFP4 格式,压缩率最高 70%,跑 llama.cpp 时推理速度平均提升 35%。

推荐理由:英伟达在 CES 展示的 DGX Spark 和 DGX Station 能在桌面本地运行千亿到万亿参数开源模型,其中 DGX Station 的 775GB 统一内存与 NVFP4 压缩给出了本地部署大模型的硬件配置参考。

2025年8月5日星期二

OpenAI News

OpenAI 公开了开源模型 gpt-oss 的极端风险测试方法,并据此决定放行发布

OpenAI 发了一篇技术文章,讲他们怎么评估开源模型 gpt-oss 在最坏情况下可能被用歪的风险。他们用的方法叫“恶意微调”,说白了就是故意把模型往坏里教:在生物风险这块,让模型上网查资料、用强化学习训练它搞威胁制造;在网络攻击这块,把它扔进一个能写代码干活的环境里打 CTF 解题赛。

推荐理由:OpenAI 公开了评估 gpt-oss 最坏风险的恶意微调方法,用生物威胁制造和 CTF 解题两套环境探测模型被滥用后的能力边界。

2025年6月16日星期一

OpenAI News

OpenAI 成立政府服务部门,首个大单是跟美国国防部试点,合同上限 2 亿美元

OpenAI 把之前零散的美国公共部门业务打包,推出了“OpenAI for Government”。第一个合作方是美国国防部首席数字与人工智能办公室(CDAO),签了一份上限 2 亿美元的试点合同,主要用 ChatGPT Enterprise 和 ChatGPT Gov 去改造行政流程,比如帮军人家庭查医保、整理采购数据、做主动网络防御。

推荐理由:OpenAI把面向联邦、州和地方的公共部门业务整合为政府服务部门,与美国国防部CDAO签下上限2亿美元的试点合同,用于行政流程改造。

2025年4月9日星期三

OpenAI News

OpenAI 推出 Pioneers 计划,帮垂直行业做公开评测集和定制模型

OpenAI 在 2025 年 4 月 9 日公布了 Pioneers 计划,第一批只挑少量创业公司合作。核心做两件事:一是针对法律、金融、保险、医疗、会计等行业,和公司一起设计领域专用的评测基准,之后会公开发布——这比模型本身更值得关注,相当于 OpenAI 要下场定义“行业里什么叫好用”。

推荐理由:OpenAI 启动 Pioneers 计划,与法律、金融、医疗等行业公司共建领域评测基准并公开发布,行业团队可据此了解模型在具体场景中的评判标准。

2025年3月4日星期二

OpenAI News

OpenAI 成立 NextGenAI 联盟,砸 5000 万美元把高校和图书馆绑上自己的技术栈

OpenAI 拉上 15 家大学、医院和图书馆组了个叫 NextGenAI 的联盟,总共承诺投入 5000 万美元,形式是研究经费、算力补贴和 API 调用额度。这笔钱不是直接发,而是让合作方用 OpenAI 的工具干活。MIT 的师生能拿 API 和算力去训练、微调自己的模型。

推荐理由:OpenAI 联合 15 家高校、医院和图书馆成立 NextGenAI 联盟,投入 5000 万美元研究经费、算力补贴和 API 额度,合作方以 OpenAI 工具开展训练与微调。

2024年12月17日星期二

OpenAI News

OpenAI 把 o1 模型放进 API 了,还顺手给实时语音接口降了价

OpenAI 这次主要给开发者端上了几道新菜。首先是 o1 模型正式在 API 里上线,先推给用量最高的第五级开发者。相比之前的预览版,o1 现在能调用外部函数、按你给的 JSON 格式稳定输出、看懂图片,还多了一个叫 reasoning_effort 的参数让你控制它思考多久。官方说它平均比预览版少用 60% 的思考 token,等于更快更省钱。

推荐理由:OpenAI 将 o1 模型正式上线 API,新增函数调用、结构化输出和图片理解,官方称其平均比预览版少用 60% 的思考 token。

2024年10月3日星期四

OpenAI News

OpenAI 给 ChatGPT 加了个叫 Canvas 的侧边栏,写东西和改代码不用再跟聊天框死磕了

OpenAI 在 10 月 3 号给 Plus 和 Team 用户推了个 Canvas 测试版,相当于在 ChatGPT 旁边开了个协作窗口,你可以直接在上面改文字或代码,模型也能像编辑一样给行内建议。它背后是 GPT-4o,专门训练过什么时候该自动弹出这个窗口:写作场景触发准确率到了 83%,编程场景 94%。

推荐理由:OpenAI 为 ChatGPT 推出 Canvas 测试版,在写作和编程时单独开窗口,模型能按场景自动弹出并给行内修改建议。

2024年10月1日星期二

OpenAI News

OpenAI 给 GPT-4o 开放了图像微调,开发者可以拿图片和文字一起训练模型了

OpenAI 在 2024 年 10 月 1 日上线了 GPT-4o 的图像微调功能,付费开发者现在能上传图片加文字的数据集来定制模型。最少 100 张图就能看到效果,图越多、数据量越大,提升越明显。Grab 用 100 个样本训练后,车道数量识别准确率提高了 20%,限速标志定位准确率提高了 13%。

推荐理由:OpenAI 将图像微调开放给付费开发者,上传图片加文字数据集即可定制模型,最少 100 张图见效,Grab 用 100 个样本把车道数量识别准确率提高 20%。

OpenAI News

OpenAI 在 API 里上线了模型蒸馏,让你用大模型的回答去教小模型

OpenAI 10 月 1 号在自家 API 里推了一套模型蒸馏工具,核心思路是:先用 GPT-4o 或 o1-preview 这类大模型跑出结果,再用这些结果去微调 GPT-4o mini 这种便宜模型,让它在特定任务上接近大模型的表现,但成本更低。

推荐理由:OpenAI 把模型蒸馏做成 API 内置流程,用 GPT-4o 或 o1-preview 的输出微调 GPT-4o mini,让团队不必自建这套流水线就能压低特定任务的推理成本。

2024年8月20日星期二

OpenAI News

OpenAI 开放 GPT-4o 微调,训练费每百万 token 25 美元,9 月 23 日前每天送 100 万免费额度

OpenAI 把 GPT-4o 的微调权限开放给所有付费开发者了。训练价格是每百万 token 25 美元,用微调后的模型跑推理,输入每百万 token 3.75 美元,输出每百万 token 15 美元。到 9 月 23 日为止,每个组织每天能免费拿到 100 万训练 token。

推荐理由:OpenAI 向所有付费开发者开放 GPT-4o 微调,训练每百万 token 25 美元,9 月 23 日前每个组织每天可领 100 万免费训练 token。

2024年7月24日星期三

OpenAI News

OpenAI 用“规则打分”替代部分人工反馈,让模型在安全问题上更听话

OpenAI 在 7 月 24 日公开了他们用在安全对齐上的新方法:Rule-Based Rewards(RBRs),也就是用一套事先写好的规则给模型回复打分,而不是每次都靠人反复标注。

推荐理由:OpenAI 公开用规则打分替代部分人工反馈的安全对齐方法,安全政策调整时只需改规则,不必重新标注数据。