跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 101–120 条 · 共 124 条

4月20日星期一

r/LocalLLaMA

用免费 Colab T4 和 Mac 给苹果端侧 3B 模型训练 LoRA 适配器

作者搭了一套 QLoRA 流程来微调苹果那个跑在手机上的 3B 模型,把显存需求从大约 24GB 压到 1GB 内存加 5GB 显存,免费版 Colab T4 或者一台 24GB 内存的 Mac 就能跑。帖子说 A100 跑 LoRA、T4 跑 QLoRA、Mac 跑 QLoRA 训出来的适配器效果差不多,都能把准确率从 40% 左右拉到 75%,如果...

推荐理由:一篇带名字的第一手实验,内存和准确率数字可复现,HKR 三项全中,比普通教程贴强。分数没上 85 是因为来源只是单篇 Reddit 帖子,权威性有限,跑分范围也窄。

r/LocalLLaMA

用一张 RTX 4090 跑 Gemma 4 26B,从 2400 份财报电话会里挖交易信号,一个有效,一个差点骗过我

一位 Reddit 用户用 800 份标注过的财报电话会记录微调了 Gemma 4 26B,然后在一张 RTX 4090 上花了约 14 小时,推理了 3 年内共 2400 份记录。在 600 份样本外数据上,一个信号显示:CFO 指引越含糊,公司股价在 5 天内相对板块平均跑输约 1.8%,信息系数(IC)为 0.04。另一个信号更强,与板块回报的相...

推荐理由:这是一篇第一人称的实战记录,不是公关稿。作者把 Gemma 4 26B 塞进一张 4090,用 800 份人工标注的财报电话会微调,然后让模型在 2400 份近三年转录上提取交易信号,整批跑完 14 小时。结果里有一个信号站住了:CFO 把业绩指引从具体数字改成模糊表述后,股价 5 日内相对行业落后约 1.8%,IC 0.04,不算强但能用。另一个信号和行业回报相关性高达 0.85,作者直接判定为幽灵信号,提醒读者因子去重比标题里的赚钱故事重要得多。全文没有吹模型多强,反而在讲怎么排雷,信息密度和诚实度都够,适合 featured 位置。

4月12日星期日

最佳拍档

DeepMind 用在线学习加主动探索,把 RLHF 的数据效率提升了 10 倍

Google DeepMind 团队在 Gemma 9B 上做了一组实验,证明 RLHF 数据效率低不是算法本身不行,而是用法错了。他们对比了四种算法:离线 RLHF 需要约 20 万条偏好标注才能达到 55% 左右的胜率;而他们提出的在线 RLHF 加上信息导向探索,不到 2 万条标注就做到了同样的水平,数据效率提升超过 10 倍。信息导向探索的核心...

推荐理由:我会先打个折:反馈是用 Gemini 1.5 Pro 模拟的,不是真人标的,1000倍增益也只是在不超过100万条标注区间外推出来的。但方法论值得看——在线 RLHF 加信息导向探索,让模型自己挑该问什么,把标注预算花在刀刃上。这点先别太激动,但如果是真的挺省钱。

4月8日星期三

量子位 · 公众号

面壁智能、OpenBMB 和清华放出一个 2B 开源语音模型 VoxCPM 2,能说 9 种方言、30 种外语,还复刻了郭德纲的《莽撞人》贯口

VoxCPM 2 是个 20 亿参数的开源语音模型,主打低延迟和少样本复刻。官方说生成经常在 1 秒内完成,给一段 5 秒以上的参考音频就能模仿音色和风格,演示里用它念了语速极快的相声贯口《莽撞人》。技术上它没用传统的声学码本,而是走扩散自回归连续表征路线,支持去噪、LoRA 微调和全量微调。正文没披露具体的训练数据规模和硬件需求,也没给标准化的语音质...

推荐理由:面壁智能和清华 OpenBMB 放出的 VoxCPM 2 是一个 2B 开源语音模型,不是薄 demo。正文列了可复现条件:48kHz、9 种方言、30 种外语、≥5 秒参考音频、1 秒内生成,还支持降噪和 LoRA/全参微调。技术路线上走了 tokenizer-free 的扩散自回归连续表征,这点比模型尺寸更值得看。我会先打个折:正文没披露方言和外语的具体测试集与客观指标,也没给端侧实测延迟和内存占用,所以实际部署成本还要自己测。但整体信息量够,对盯中文开源语音栈的人有参考价值。

3月18日星期三

MIT Technology Review · AI

五角大楼打算让 AI 公司用机密数据训练军用模型

五角大楼计划为生成式 AI 公司搭建安全环境,让它们用机密数据训练军事专用版模型。Anthropic 的 Claude 已经在机密场景里用来回答问题,包括分析伊朗境内的目标,但让模型直接拿机密数据训练是头一回。这意味着监控报告、战场评估这类敏感情报会被写进模型参数里,AI 公司离机密数据也会比以往更近。正文没披露具体的安全隔离措施、数据脱敏方案,也没说...

推荐理由:这条是通讯里的一个条目,不是五角大楼或 Anthropic 自己发的完整公告,所以信息量有限,但国防加机密训练这个角度够硬。HKR 三项都踩中了:标题本身就勾人,正文给了 Claude 在机密场景的具体用例和训练数据来源,而且直接戳到前沿模型进军事领域这个敏感话题。我会先打个折,因为细节还缺——比如安全环境怎么隔离、模型会不会直接参与决策,正文都没说——但现有事实已经够撑 featured 这条线。

MIT Technology Review · AI

五角大楼计划让 AI 公司在机密数据上训练模型

五角大楼正在讨论建一个安全环境,让 OpenAI、xAI 这类公司用机密数据训练军用版大模型。以前这些模型只能在涉密环境里回答问题,不能拿数据去学习,这次是头一回允许直接“吃”进机密情报。训练会在认证过的数据中心进行,数据归国防部,公司人员只在极少数情况下、有安全许可才能接触。官方说会先用非机密数据(比如商业卫星图)做测试,看效果再推进。最大的隐患是泄...

推荐理由:我会先打个折:目前只是规划阶段的说法,不是已签合同、已拨预算或已部署的项目,所以分数没给到 85 以上。但 hook 很明确——用机密数据训练这件事本身就少见,加上有具体的评估门槛和数据所有权安排,信息量够。泄密风险那段尤其值得盯:同一个模型如果服务不同密级部门,训练时吃进去的机密信息可能被再次吐出来,正文没展开怎么防,这是个关键缺口。

Mistral AI

Mistral AI 推出企业级模型训练系统 Forge

Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 架构,并可处理多模态输入,模型可在企业内部基础设施中训练与治理。Mistral AI 已与 ASML、Ericsson、欧洲空间局、新加坡 DSO National Laboratories 等机构合作,用其专有数据训练模型。

推荐理由:原文给出企业用自有数据训练前沿模型的分阶段能力与已合作机构,可据此判断企业自建模型的路径。

3月17日星期二

NVIDIA 博客

GTC 上 NVIDIA 用 RTX 电脑和 DGX Spark 跑本地 AI 助手,还发了新模型

NVIDIA 在 GTC 上主推两件事:一是让 AI 助手直接在 RTX 电脑和 DGX Spark 小超算上本地跑,不用联网,隐私和 token 成本都省了。DGX Spark 有 128GB 统一内存,能塞下 120B 参数以上的模型。二是发新模型,包括小号的 Nemotron 3 Nano 4B 和大号的 Nemotron 3 Super 120...

推荐理由:我会先打个折:正文没披露标题里“最新开放模型”的全量清单和价格,所以不能给更高分。但 HKR 三项都站得住——本地跑大模型和代理的钩子够强,128GB 统一内存和 PinchBench 分数是实打实的数字,而且本地推理正好踩在隐私和成本这两个行业痒点上。保留 featured,不往上提,因为信息有缺口,来源也是厂商发布稿。

3月12日星期四

NVIDIA 博客

英伟达开源 Nemotron 3 Super:120B 模型只激活 12B 参数,跑 agent 任务吞吐量翻五倍

英伟达发了 Nemotron 3 Super,一个总参数量 120B、但每次推理只激活 12B 参数的混合专家模型。它用了混合 MoE、隐式 MoE 和一次预测多个 token 的技术,上下文窗口拉到 100 万 token。官方说在跑 agent 这类多步骤任务时,吞吐量比之前方案高 5 倍;如果搭配 Blackwell 的 NVFP4 精度,推理速...

推荐理由:这是一条扎实的模型发布消息,H、K、R 三点都踩中了。H 靠 5 倍吞吐这个具体承诺抓眼球;K 把参数量、激活量、上下文长度、训练规模和硬件对比都列清楚了,信息密度高;R 在于开放权重和配方,不是只给个模型让你猜。没给更高分是因为关键性能数据都来自 NVIDIA 自家博客,还没看到第三方验证,这点先别太激动。

2月12日星期四

MIT Technology Review · AI

中国开源 AI 下一步怎么走:从追赶变成铺管道

MIT Technology Review 这篇展望认为,DeepSeek 在 2025 年初放出 R1 之后,中国公司已经能反复拿出性能接近西方顶级系统、但价格便宜很多的模型。文章举了月之暗面 Kimi K2.5 的例子,说它在早期跑分上接近 Anthropic 的 Claude Opus,价格大约是后者的七分之一。在 Hugging Face 上,...

推荐理由:这篇不是产品发布,但给出了实在的市场信号——约七分之一的价格、Hugging Face 下载份额,以及一个清晰的判断:中国开源正从少数通用模型转向大量可蒸馏、可微调的专用变体。信息量够,对从业者有参考价值,放 featured 没问题。

1月31日星期六

MIT Technology Review · AI

斯坦福和印第安纳大学的研究发现,AI 模型平台 Civitai 上 90% 的定制深度伪造悬赏都针对真实女性

斯坦福和印第安纳大学的研究人员扒了 Civitai 这个 AI 内容交易平台的数据,发现从 2023 年中到 2024 年底,平台上 90% 的深度伪造悬赏(bounties)都指名要生成真实女性的假照片。这些悬赏主要求购一种叫 LoRA 的指令文件——你可以把它理解成给 Stable Diffusion 这类主流生图模型用的“风格补丁”,能让模型画出...

推荐理由:这篇调查把 Civitai 上的深伪滥用做成了一个看得见的市场账本。我会先打个折:数据只覆盖到 2024 年底,平台 2025 年 5 月才全面封禁,时效性上不是最新变动,但那些硬数字——90% 针对女性、86% 要定制 LoRA、单笔几美元、九成多已结单——把“需求有多集中、门槛有多低”讲得很清楚。对从业者来说,值得盯的不是个案,是平台把生成教程、支付和撮合串成一条流水线,封禁后旧货还在流通,这比单纯托管内容麻烦得多。正文没披露 Civitai 或投资方 a16z 的回应,也没给出封禁后的下架率,所以判断先停在“治理缺口明显”这一步。

1月6日星期二

NVIDIA 博客

NVIDIA 把跑千亿参数大模型的机器塞进了桌面

NVIDIA 在 CES 上展示了两台桌面设备 DGX Spark 和 DGX Station,能在本地跑 1000 亿到 1 万亿参数的开源模型。DGX Station 有 775GB 的统一内存,可以把模型压缩到 NVFP4 格式,压缩率最高 70%,跑 llama.cpp 时推理速度平均提升 35%。现场还演示了每秒处理 25 万个 token ...

推荐理由:HKR 三项都站得住:桌面跑大模型的 hook 够强,性能数字和演示数据把事实撑住了,而且整件事指向本地开发闭环能不能替代部分云端迭代这个真问题。不过说到底这是英伟达的产品发布,性能证据都来自厂商自己的演示,我会先打个折,所以重要性停在 75 分。

1月3日星期六

TechCrunch · AI

Mercor 三年做到 100 亿美元估值,靠的是给 AI 公司拉高端专家做数据标注

Mercor 这家成立三年的公司,现在估值 100 亿美元,干的活说白了就是给 OpenAI、Anthropic 这些 AI 实验室当人才中介。他们找的不是普通众包人员,而是高盛、麦肯锡、顶尖律所的前员工,时薪最高给到 200 美元,让这些人用自己的行业经验去训练 AI 模型。CEO Brendan Foody 在 Disrupt 大会上聊了几个关键点...

推荐理由:这篇值得看,因为它讲了一个具体又反直觉的链条:OpenAI、Anthropic 这些实验室,通过 Mercor 这个人才中介,把高盛、麦肯锡和顶级律所的前员工拉来给模型做领域知识标注,时薪开到 200 美元。等于说,最可能被 AI 冲击的那批人,现在成了训练 AI 的关键劳动力。Mercor 三年估值冲到 100 亿美元,说明这条供给链跑通了。不过正文没披露具体规模、合同怎么签、任务怎么分配,所以对商业模式和可持续性还得打个问号。我会先打折看,但方向本身已经够说明问题了。

2025年9月9日星期二

Mistral AI

Mistral AI 完成 1.7B€ C 轮融资,ASML 领投

Mistral AI 宣布完成 1.7B€ 的 C 轮融资,投后估值 11.7B€,由半导体设备厂商 ASML 领投,DST Global、Andreessen Horowitz、Bpifrance、General Catalyst、Index Ventures、Lightspeed 和 NVIDIA 等现有投资方参投。

推荐理由:Mistral AI 完成 1.7B€ C 轮融资,由 ASML 领投,读者可据此了解其资金用途与半导体产业链合作方向。

2025年8月5日星期二

OpenAI News

OpenAI 公开了开源模型 gpt-oss 的极端风险测试方法,并据此决定放行发布

OpenAI 发了一篇技术文章,讲他们怎么评估开源模型 gpt-oss 在最坏情况下可能被用歪的风险。他们用的方法叫“恶意微调”,说白了就是故意把模型往坏里教:在生物风险这块,让模型上网查资料、用强化学习训练它搞威胁制造;在网络攻击这块,把它扔进一个能写代码干活的环境里打 CTF 解题赛。测完发现,被恶意调教过的 gpt-oss 还是打不过他们自家的闭...

推荐理由:我会先打个折:正文只给了相对结论,说 gpt-oss 在两项恶意微调后仍落后于 OpenAI o3,但具体分数、用了多少训练量、触发发布禁令的阈值全都没披露。这点先别太激动,信息缺口不小。真正该盯的是方法论——用恶意微调当最坏情况探针,而不是标题里“开放权重风险”那个大词。对从业者来说,这两套评估环境的设计思路比结论本身更有参考价值。

2025年6月16日星期一

OpenAI News

OpenAI 成立政府服务部门,首个大单是跟美国国防部试点,合同上限 2 亿美元

OpenAI 把之前零散的美国公共部门业务打包,推出了“OpenAI for Government”。第一个合作方是美国国防部首席数字与人工智能办公室(CDAO),签了一份上限 2 亿美元的试点合同,主要用 ChatGPT Enterprise 和 ChatGPT Gov 去改造行政流程,比如帮军人家庭查医保、整理采购数据、做主动网络防御。宾州政府之前...

推荐理由:这不是模型发布,但 OpenAI 在政府市场这一步迈得挺实:整合了面向联邦、州和地方政府的项目,首个国防部试点合同金额上限 2 亿美元,还提了个宾州员工日均节省 105 分钟的数字。我会先打个折——正文没写具体模型版本、定价和部署规模,所以效率数据只能当个参考,别太激动。HKR 三项都踩中了,够得上 featured;缺细节让它进不了 p1。

2025年4月9日星期三

OpenAI News

OpenAI 推出 Pioneers 计划,帮垂直行业做公开评测集和定制模型

OpenAI 在 2025 年 4 月 9 日公布了 Pioneers 计划,第一批只挑少量创业公司合作。核心做两件事:一是针对法律、金融、保险、医疗、会计等行业,和公司一起设计领域专用的评测基准,之后会公开发布——这比模型本身更值得关注,相当于 OpenAI 要下场定义“行业里什么叫好用”。二是用强化微调(RFT,一种用较少数据把模型训成特定任务专家...

推荐理由:HKR-K 和 HKR-R 都过关:OpenAI 确认会公开领域评测、每家公司做三个用例的定制模型,还有研究团队协作的强化微调,这对追领域性能的团队有实际价值。HKR-H 偏弱,而且价格、入选数量、模型基座、时间表正文全没给,所以放在 featured 低段。

2025年3月4日星期二

OpenAI News

OpenAI 成立 NextGenAI 联盟,砸 5000 万美元把高校和图书馆绑上自己的技术栈

OpenAI 拉上 15 家大学、医院和图书馆组了个叫 NextGenAI 的联盟,总共承诺投入 5000 万美元,形式是研究经费、算力补贴和 API 调用额度。这笔钱不是直接发,而是让合作方用 OpenAI 的工具干活。MIT 的师生能拿 API 和算力去训练、微调自己的模型;牛津的博德利图书馆用 API 转录古籍,把几百年前的书变成可检索的电子文本...

推荐理由:OpenAI掏5000万美元加算力和API,把MIT、牛津等15家机构拉进NextGenAI联盟。这事不是发个模型,而是让学术圈用它的工具做训练、微调、甚至转录古籍,等于在下一代研究者和机构里提前铺管道。我会先打个折:正文没披露资金是现金还是额度、算力具体多少、API调用上限,这些缺口让实际力度不好判断。但方向很明确,卖的不是单点产品,是生态绑定。

2024年12月17日星期二

OpenAI News

OpenAI 把 o1 模型放进 API 了,还顺手给实时语音接口降了价

OpenAI 这次主要给开发者端上了几道新菜。首先是 o1 模型正式在 API 里上线,先推给用量最高的第五级开发者。相比之前的预览版,o1 现在能调用外部函数、按你给的 JSON 格式稳定输出、看懂图片,还多了一个叫 reasoning_effort 的参数让你控制它思考多久。官方说它平均比预览版少用 60% 的思考 token,等于更快更省钱。跑分...

推荐理由:这条更新对开发者来说信息量很扎实。o1 补上了之前缺失的生产特性,不再是只能看不能用的状态;推理 token 用量大降和音频价格大砍都是实打实的成本改善。后半段 GPT-4o mini 实时价格被截断,但已披露的部分没有事实错误或过时信息,也没有不安全或误导性的建议。整体判断:事实准确、当前有效、对从业者安全。

2024年10月3日星期四

OpenAI News

OpenAI 给 ChatGPT 加了个叫 Canvas 的侧边栏,写东西和改代码不用再跟聊天框死磕了

OpenAI 在 10 月 3 号给 Plus 和 Team 用户推了个 Canvas 测试版,相当于在 ChatGPT 旁边开了个协作窗口,你可以直接在上面改文字或代码,模型也能像编辑一样给行内建议。它背后是 GPT-4o,专门训练过什么时候该自动弹出这个窗口:写作场景触发准确率到了 83%,编程场景 94%。模型还学会了做定点修改而不是每次都整篇重...

推荐理由:OpenAI 给 ChatGPT 加了个叫 canvas 的协作界面,写作和编程时能单独开一个窗口,选中某段文字直接改、能回退版本,还有调长度、修 bug、代码审查这些快捷操作。我会先打个折,这目前是测试版,只给 Plus 和 Team 用户用。但真正值得看的是他们怎么训的:内部 20 多项评测里,模型知道什么时候该自动弹出 canvas 的准确率写作 83%、编程 94%,定向编辑效果比之前好 18%,评论准确率高出 30%、质量高出 16%。这些数字说明他们不是拍脑袋加功能,而是用偏好数据专门教过模型什么时候该进协作模式、怎么改得更准。对做 A...