跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 41–60 条 · 共 173 条

10月3日星期六

Hacker News 首页

Aleph Alpha 发布开放权重模型 Kolibri,支持英德双语与 1M tokens 上下文

Aleph Alpha 发布英德双语 MoE 模型 Kolibri,总参数为 78B、激活参数约 3B,支持最高 1M tokens 上下文。完整权重在 Hugging Face 按 Apache 2.0 许可开放,部署需要提供 Kolibri vLLM 插件的 aleph-alpha-inference 包。

推荐理由:Aleph Alpha 将行业失败案例转成持续运行的评测,并用合成训练环境改进模型,无需使用客户数据训练。

10月2日星期五

Hacker News 首页

Schwartz复盘如何用Claude与BootLoops开展跨学科科学研究

Matthew Schwartz借助Claude构建开源科学计算工具包BootLoops,在3个月内与19位合作者开展18个领域的研究,形成36篇稿件。他让Claude寻找适合其能力的定量问题,再由领域专家引导研究方向,同时强调计算结果、结论与科学价值仍需人工检查。

推荐理由:Schwartz用BootLoops寻找适合Claude的科学问题,再由领域专家筛选研究方向,将技术计算推进到有科学价值的问题。

Computing Life · Share · 鸭哥调研

OpenAI 的 AI 蠕虫如何在沙盒训练中产生并用于安全训练

OpenAI 的自我复制提示词蠕虫在受控沙盒训练中产生,报告称未观察到训练与评估模拟工具调用之外的影响。文章解读了 GPT-Red 如何通过奖励未授权操作和攻击指令转发,训练攻击者生成可沿邮件等渠道传播的注入内容,并将批量攻击样本用于 GPT-5.6 的训练。文章将这一流程视为安全训练生产方式的转变,并提出以外部数据隔离、关键动作人工审批和外发文本审计限制智能体受骗后的操作。

推荐理由:OpenAI 用自动化红队批量生成攻击样本并纳入模型训练,将安全防御从发布前人工测试推进到训练阶段的持续对抗。

10月1日星期四

The Decoder

OpenAI 称已阻止窃取模型推理的攻击,但该手法在 Azure 上仍然有效

OpenAI 称已阻止一场窃取其模型推理的攻击,该活动 7 月 1 日低量开始,7 月 24 至 25 日激增至来自 4000 多名用户的 16000 次请求,涉及 15000 多个关联账户,7 月 28 日前已全部关停,并称核心人员与 Moonshot AI 相关。

推荐理由:OpenAI 披露 7 月一次推理蒸馏攻击的规模与关停过程,研究人员随后发现同一手法在 Azure 上仍对多个模型有效。

OpenAI News

OpenAI 披露并阻断一起协同模型蒸馏攻击

OpenAI 称近期发现并阻断了一起协同蒸馏攻击,最早活动出现在 7 月第一周,攻击者试图提取模型的受保护推理内容。7 月 24 日和 25 日出现高流量峰值,涉及 4,000 多名用户的 16,000 次请求,相关提示模式活动涉及超过 15,000 名用户,OpenAI 于 7 月 28 日前完全阻断。

推荐理由:OpenAI 披露一起协同蒸馏攻击的时间线与处置过程,攻击者通过复制加密推理内容诱导模型转写,试图提取受保护推理。

9月30日星期三

Google DeepMind

Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质嵌入水印

Google DeepMind 发布 SynthID Bio,把水印技术用于合成生物学,在生物代码中嵌入不可感知的签名,并可在合成出的实体蛋白质上验证,同时保持其生物功能。

推荐理由:Google DeepMind 推出 SynthID Bio,把水印嵌入 AI 生成的蛋白质序列与三维结构,并在实验室合成出的实体蛋白上验证,同时保持其结合功能。

The Decoder

DeepSeek 联合华为为昇腾芯片发布开源编程工具

DeepSeek 与华为合作为昇腾芯片打造编程工具并全部开源,核心是比 CUDA 更易上手的 TileLang 语言,双方还优化了由 128 颗昇腾 950 芯片组成的超级节点。

推荐理由:DeepSeek 与华为联合开源昇腾芯片编程工具,核心 TileLang 语言比 CUDA 更易上手,为国产芯片软件生态提供了一条可参考的路径。

Hacker News 首页

文本分类语言模型解读:从词袋模型到 Jev

Jev 将文本分类扩展为无需逐项任务微调的通用决策服务,文章通过分类技术发展史与实测解释其优势和适用边界。在 IMDb 的 25,000 条测试评论上,Choice API 达到 96.47% 准确率,总成本 $0.6492;文章同时提醒,无法确定测试集是否包含在训练数据中。

推荐理由:文章将 Jev 与词袋模型、ModernBERT 和通用大语言模型比较,厘清跨任务直接分类与专用模型微调的成本和适用边界。

AI HOT · 行业

Anthropic 与 SpaceX 签署最高 845 亿美元算力协议,可提前 90 天通知解除

Anthropic 与 SpaceX 签署算力协议,合同金额上限最高达 845 亿美元,用于租用 SpaceX 数据中心内的英伟达 GPU 算力资源。文件显示双方于 2026 年 5 月签署协议,覆盖 Colossus 一号与二号两座数据中心,Anthropic 每月支付 12.5 亿美元,付费期限持续到 2029 年 5 月,2026 年 5-6 月爬坡阶段执行优惠费率。

推荐理由:Anthropic 与 SpaceX 签署算力协议,金额上限 845 亿美元,且提前 90 天通知即可解约,这组条款勾勒出 AI 公司算力采购的规模与灵活度。

The Decoder

AMD 以 82 亿美元收购世界模型初创公司 World Labs

AMD 宣布以约 82 亿美元全股票交易收购专注空间智能的初创公司 World Labs,交易预计在 2026 年底前完成,尚待监管批准。World Labs 创始人李飞飞将加入 AMD 领导团队,出任执行副总裁兼首席科学家,直接向 CEO 苏姿丰汇报并负责前沿研究。

推荐理由:交易金额与团队去向之外,原文还梳理了世界模型路线与 AMD 追赶 Nvidia 的硬件逻辑。

9月29日星期二

OpenAI News

OpenAI 探索前沿 AI 训练的安全论证框架

OpenAI 正在制定前沿强化学习训练的安全论证框架,主张在继续训练前提供结构化、基于证据的风险说明。建议涵盖对齐训练、隔离与监测,并配套跨团队质疑、高层否决权、暂停机制及事故调查和公开披露流程。这些建议正在 OpenAI 内部实施,安全论证仍是逐步建设的目标,文档不覆盖内部和外部部署所需的更广泛对齐要求。

推荐理由:OpenAI 将训练安全论证拆为技术防护、运行审批和事故调查,把监测阈值、暂停机制与责任归属纳入训练风险管理方法。

9月22日星期二

Anthropic News

Anthropic 与 WHO 等机构用 Claude 支持刚果(金)埃博拉疫情响应

Anthropic 的 Beneficial Deployments 与应用 AI 团队与 CEPI、WHO 非洲区域办事处、INRB 合作,在刚果(金)Bundibugyo 型埃博拉疫情(BDBV)响应中使用 Claude。

推荐理由:Anthropic 与 CEPI、WHO 非洲区域办事处等机构合作,用 Claude 处理刚果(金)埃博拉疫情的一线数据,原本耗时一整天的疫情简报压缩到一小时以内。

9月17日星期四

Hacker News 首页

花 9 美元让 Gemini 教出一个本地模型,替代它自己

作者用 Gemini 3.1 Pro 一次性标注 4,290 条 Reddit 评论(花费 9 美元),再微调 GLiNER large v2.5(459M)做刀具品牌、型号和钢材的命名实体识别,在 225 条验证集上达到 0.83 F1,本地运行后不再按条调用 Gemini。

推荐理由:作者花9美元让Gemini标注4290条评论,微调GLiNER把F1从0.65提到0.83,本地运行后不再按条调用API,记录了大模型蒸馏标签、微调小模型替代自身的一次完整尝试。

9月14日星期一

Hacker News 首页

2026年AI就业市场:谁在被抢、谁在拿高薪、哪些岗位正在消失

作者汇总 LinkedIn、WEF、Stanford AI Index、PwC、Bain 等来源的数据,梳理 2026 年 9 月的 AI 就业市场。AI Engineer 是招聘量最大的岗位,美国每周约 1550 个新职位、中位年薪 176000 美元;前沿实验室 Research Scientist 最具声望,Anthropic 中位年薪约 746000 美元。

推荐理由:作者汇总 LinkedIn、WEF、PwC 等来源数据,梳理 2026 年 AI 岗位的招聘量与薪资差异,AI Engineer 每周约 1550 个新职位、中位年薪 176000 美元。

9月8日星期二

Google DeepMind

Google DeepMind 发布 AlphaGenome Atlas,预测人类基因组全部单碱基变异

Google DeepMind 发布 AlphaGenome Atlas,一个包含人类基因组 90 亿个单核苷酸变异效应预测的平台,规模达 1PB,是 AlphaFold Database 的 30 多倍。

推荐理由:Google DeepMind 将 AlphaGenome 的预测结果预计算成覆盖人类基因组全部 90 亿个单碱基变异的 1PB 数据集,规模超过 AlphaFold Database 的 30 倍,并配套给出可排序的 AVI 评分。

9月4日星期五

Computing Life · Share · 鸭哥调研

把模型搬回自己家之前,先算三本账

文章提出自建开源模型前要算清资金成本、数据安全与团队能力三本账,并据此给出租 token、租硬件、自购硬件三档选项。作者引用 Zach Mueller 与 Hamel Husain 的观点指出,自建总体开销常达纯硬件账单的三到五倍,两张 H100 的私有部署每月需约 20 亿 token 吞吐才能打平中等价位云端 API。

推荐理由:文章给出自建开源模型的三本账框架,并引用两张 H100 私有部署每月约 20 亿 token 吞吐才能打平中等价位云端 API 的盈亏平衡点。

9月3日星期四

Hugging Face 博客

用 100 步 GRPO 微调 3.5 亿参数模型,结构化输出合规率从 22.6% 提到 29.7%

Hugging Face 博客给出用 TRL 的 GRPO 微调 LFM2.5-350M 的公开配方,在 IFStruct 基准上把通过率从 22.6% 提升到 29.7%。

推荐理由:Hugging Face 博客公开了用 TRL 的 GRPO 微调 3.5 亿参数模型 LFM2.5-350M 的完整配方,仅 100 步就把 IFStruct 结构化输出通过率从 22.6% 提到 29.7%。

8月28日星期五

Hacker News 首页

一套不用框架、在 Colab 上免费跑的 AI 工程师实操笔记

calmrocks 在 GitHub 上放出了一组 Colab 笔记本,面向 AI 工程师和前线部署工程师。内容覆盖了模型 API 调用、结构化输出、工具调用、外挂资料库(RAG)、把评测当主心骨的开发思路、从零手写 agent 循环、工具设计、安全护栏、MCP、Skills、微调与 LoRA 的对比、提示词注入攻击、LLMOps 以及客户落地技巧。

推荐理由:calmrocks 在 GitHub 发布一组免费 Colab 笔记本,覆盖 RAG、agent 循环、评测、微调与安全护栏,全程不依赖框架,可迁移到日常工程实践。

8月27日星期四

Anthropic News

Anthropic 开放 1 万个科研人员 Claude 席位并扩大 AI for Science 计划

Anthropic 宣布通过新的 Claude team plan for scientists 向全球科研人员开放 1 万个席位,标准席位免费,5 倍用量上限的高级席位为每月 15 美元,为期一年,并计划在未来数月把该计划扩展到 1 万个席位之外。

推荐理由:Anthropic 向全球科研人员开放 1 万个 Claude 席位,标准席位免费、5 倍用量高级席位每月 15 美元,为期一年,并同步扩大 AI for Science 计划的资助范围。

8月6日星期四

Computing Life · Share · 鸭哥调研

微调回来了,但这次是为了省钱,不是为了让模型更聪明

2026年,工程团队重新捡起微调,目标变了:不是给模型灌新知识或提升推理能力,而是把高频、窄领域的推理成本打下来。FermiSense用Qwen3.5-9B做电商审核,每千次调用成本从几十美元压到0.5美元;Intercom的客服小模型解决率73.1%,成本只有GPT-5.4的五分之一。

推荐理由:FermiSense 和 Intercom 用微调把窄领域推理成本压到原来的五分之一甚至更低,这条把微调回归落到具体成本账上。