跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 61–80 条 · 共 173 条

8月4日星期二

Hacker News 首页

Soup:一个命令就能在 4GB 显存的笔记本上微调 8B 模型

Soup 把大语言模型的微调流程打包成一个命令行工具,最低只要 4GB 显存就能跑。它底层用了 QLoRA(一种省显存的微调方法)和 Unsloth 加速,支持 Llama、Mistral、Qwen 这些主流的 8B 模型。你准备好 JSONL 格式的数据集,写一个 YAML 配置文件,敲一句 `soup run` 就开始训练了。

推荐理由:Soup 把 QLoRA 微调打包成命令行工具,4GB 显存就能训练 Llama、Mistral、Qwen 等 8B 模型,准备 JSONL 数据集和 YAML 配置后一句 soup run 即可启动。

7月31日星期五

AI HOT 精选

Inkling-Small 开源:总参数 276B、激活 12B,体积缩到四分之一,性能号称打平原版

Thinking Machines 把 Inkling 模型缩小到原来的四分之一,放出了 Inkling-Small。总参数量 276B,但每次推理只激活 12B 参数,相当于用更少的算力跑出相近的效果。完整权重已经公开,可以在 Tinker 上直接微调,也能在 Tinker Playground 里用文字、图片、音频跟它对话。

推荐理由:Thinking Machines 把 Inkling 压缩到四分之一规模后开源,276B 总参数每次只激活 12B,完整权重可直接在 Tinker 上微调,为关注大模型轻量化部署的读者提供了可上手的实例。

7月20日星期一

Product Hunt · AI

Thinking Machines 开源 Inkling:一个 975B 参数、专为微调设计的多模态模型

Thinking Machines 在 Product Hunt 上发布了 Inkling,一个 975B 参数的混合专家(MoE)模型,每次推理实际激活 41B 参数,支持 100 万 token 的上下文窗口。它原生处理文本、图片和音频,你可以手动控制它“思考”的深度。模型权重用 Apache 2.0 协议开源,主打让你拿去微调。

推荐理由:Thinking Machines 开源 975B 参数的 MoE 多模态模型 Inkling,每次推理仅激活 41B 参数,权重以 Apache 2.0 协议开放并主打微调用途。

7月16日星期四

Hacker News 首页

Thinking Machines 开源 Inkling:9750 亿参数 MoE 模型,激活 410 亿,能看图听音,还能自己微调自己

Thinking Machines 把 Inkling 模型完整开源了。这是个总参数 9750 亿的混合专家模型,每次推理只激活 410 亿参数,上下文窗口能塞进 100 万 token。它用 45 万亿个文本、图片、音频和视频 token 训练出来,原生就能处理文字、图片和声音。

推荐理由:Thinking Machines 开源了总参数 9750 亿的混合专家模型 Inkling,每次推理只激活 410 亿参数,原生支持文字、图片和声音,训练数据达 45 万亿 token。

7月15日星期三

Hugging Face 博客

Thinking Machines 发布 Inkling:一个万亿参数、原生多模态的开源模型

Inkling 是一个总参数量约 1 万亿(975B)、每次推理激活 41B 参数的混合专家(MoE)模型,能直接吃进文字、图片和音频,支持 100 万 token 的上下文窗口。它用 45 万亿个多模态 token 训练,还内置了多 token 预测(MTP)投机解码层来加速推理。

推荐理由:Thinking Machines 发布 Inkling,975B 总参数、41B 激活的 MoE 架构原生支持文字图片音频,上下文窗口达 100 万 token,训练用了 45 万亿多模态 token。

7月14日星期二

Hacker News 首页

Thinking Machines 认为值得构建的未来是人形的,不是全自动的

Thinking Machines 发了一篇技术理念文章,核心就一句:AI 应该延伸人的意志和判断,而不是替代人。他们引用了哈耶克关于知识是分散的、默会的观点,又举了丰田把老师傅请回生产线教机器的例子,说明真正有用的知识藏在每个具体干活的人手里,没法被一个中心化模型全吞下去。所以他们要走的路是把模型也做得分散、多样,让用的人自己能微调、能持续干预。

推荐理由:Thinking Machines 主张 AI 应延伸人的判断而非替代人,并借哈耶克分散知识与丰田老师傅教机器的例子,提出把模型做得分散多样、让使用者自行微调的技术路线。

Hacker News 首页

DoorDash 用多个大模型当“陪审团”给菜品打标签,准确率比人工高 20%

DoorDash 的菜单上有几百万个菜品,名字写法千奇百怪,靠人一个个标辣度、菜系太慢也太贵。他们搭了一套 AI 标注平台,同时看菜名、图片和网页搜索结果来推断属性。最特别的是,他们不用人审,而是让多个强模型组成“陪审团”独立投票、取共识,标注准确率比普通人工审核高出约 20%。

推荐理由:DoorDash 用多个大模型组成陪审团为菜品自动标注辣度、菜系等属性,准确率比普通人工审核高出约 20%,展示了多模态数据标注的一种可迁移做法。

6月10日星期三

r/LocalLLaMA

用约3美元API调用微调Qwen2.5-7B,在特定任务上达到Claude Haiku 96%的表现

一位Reddit用户用1040组偏好样本(DV-DPO,一种让模型学会回答风格的方法)微调了Qwen2.5-7B,成本按Claude Haiku的API价格算大约3美元,没花钱请人标注。在特定领域任务上,这个微调模型的综合得分达到了Claude Haiku的96%。部署在4-bit量化的T4机器上,生成一次回答的延迟是11秒。

推荐理由:一位Reddit用户用1040组偏好样本微调Qwen2.5-7B,API成本约3美元且无需人工标注,在特定领域任务上达到Claude Haiku 96%的得分。

6月9日星期二

AI HOT 精选

腾讯混元开源 UniRL:一套强化学习框架同时管图像生成和语言模型,还带了两个新算法

UniRL 把扩散模型、流匹配模型、大语言模型和视觉语言模型的强化学习训练塞进了同一个后训练循环里,流程就是生成、打分、算优势、更新参数再同步。框架把模型和算法拆成两个独立维度,可以自由组合,目前已经用在 Hunyuan-Image 3 和 Bagel 上。

推荐理由:腾讯混元开源 UniRL,把扩散、流匹配、语言和视觉语言模型的强化学习训练放进同一后训练循环,模型与算法解耦后可自由组合,为多模态对齐提供了一套可复用的训练基础设施。

彭博科技

马斯克从 Starlink 调人来管 Grok 的训练团队

彭博社的消息说,xAI 从 SpaceX 的 Starlink 部门拉了一位高管过来,接手 Grok 模型的训练团队,顶替了之前负责的年轻工程师 Diego Pasini。不过正文被付费墙挡住了,具体是谁、什么时候上任、训练流程会怎么变,这些都没披露。

推荐理由:xAI 从 SpaceX 的 Starlink 部门调来一位高管接手 Grok 训练团队,顶替原负责人 Diego Pasini,这条消息呈现了模型训练团队的人事更替。

6月8日星期一

AI HOT 精选

Hivemind 给 AI 编程助手加了个“记性”,能把每次干活的经验存下来复用

Hivemind 这个工具现在开放了持续学习功能,专门给 AI 编程智能体用。它会自动收集 Claude Code、Codex、Cursor、Hermes、Pi 这些助手干活时的操作轨迹,把成功的套路提炼成可复用的技能,存到你自己的云盘里,再同步给所有助手。

推荐理由:Hivemind 将 Claude Code、Codex、Cursor 等编程助手的操作轨迹提炼为可复用技能,存入个人云盘并同步给所有助手,展示了一种跨工具积累经验的做法。

AI HOT 精选

面壁智能开源 VoxCPM2 语音模型,200 万小时数据训练,支持 30 种语言和 9 种方言

OpenBMB 把 VoxCPM2 的技术报告和模型都放出来了,Apache 2.0 协议。这是个 20 亿参数的语音生成模型,用超过 200 万小时的多语言语音数据训练,能说 30 种语言和 9 种中文方言。它主要干三件事:按自然语言指令设计语音、可控地克隆声音,以及高保真地延续一段语音。

推荐理由:面壁智能以 Apache 2.0 协议开源 20 亿参数的 VoxCPM2,训练数据超过 200 万小时,覆盖 30 种语言和 9 种中文方言,语音设计、克隆与延续三类能力一并公开。

Google DeepMind

Google DeepMind 公布塞拉利昂 AI 教学试验结果

Google DeepMind 公布在塞拉利昂开展的预注册随机对照试验结果,使用 Guided Learning 的学生数学成绩比对照组提升 0.258 个标准差,相当于八周内取得约 1.2 至 1.7 年的常规学习进度。

推荐理由:Google DeepMind 在塞拉利昂的预注册随机对照试验显示,使用 Guided Learning 的学生数学成绩提升 0.258 个标准差,相当于八周内取得约 1.2 至 1.7 年常规学习进度。

6月7日星期日

量子位 · 公众号

快手可灵提出 VLM-as-Teacher:生成视频时让视觉模型当老师,在线微调 LoRA 来遵守文字规则

这篇文章的正文被微信环境异常页挡住了,看不到具体技术细节。从标题和现有摘要看,快手可灵和城大合作了一个叫 VLM-as-Teacher 的方法。思路是在测试阶段用视觉语言模型(VLM)给视频生成模型(VGM)的 LoRA 模块打分反馈,边生成边优化,让模型学会按文字规则推理。

推荐理由:快手可灵与城大提出 VLM-as-Teacher,在测试阶段用视觉语言模型为视频生成模型的 LoRA 提供反馈,边生成边优化,让模型按文字规则推理。

AI HOT 精选

AI 公司开始集体换用更便宜的模型,成本能砍掉九成

Tomasz Tunguz 观察到,基础模型公司往上抢应用层生意、最聪明的闭源模型越来越贵、开源模型又已经够用,这三件事逼着 AI 买家开始大规模“换芯”。Coinbase 把简单任务分流到便宜模型,用量指数级涨但成本没变;Lindy 把所有流量从 Anthropic 切到 DeepSeek v4,省了几百万美元,核心场景效果反而更好。

推荐理由:基础模型公司上探应用层、闭源模型涨价、开源模型够用,三股力量推动 Coinbase 和 Lindy 等公司把任务分流或整体切换到更便宜的模型,成本大幅下降。

AI HOT 精选

五个实验室,五个心智:用小模型搭了个会内幕交易的金融宫斗剧

这个项目用四家不同实验室的小模型(OpenAI 的 gpt-oss-20b、OpenBMB 的 MiniCPM3-4B、NVIDIA 的 Nemotron-Mini-4B 和一个自己微调的 0.5B Qwen)分别扮演市场里的不同角色,玩家则充当幕后金主,可以放贷、散布真假内幕消息、做空和贿赂。

推荐理由:四个实验室的小模型分别扮演市场角色,玩家作为幕后金主放贷、散布真假内幕消息、做空和贿赂,多模型差异被用来制造博弈感。

6月6日星期六

AI HOT 精选

Google 发布 Colab 命令行工具,本地终端能直接调用云端 GPU 跑脚本了

Google 把 Colab 搬进了终端。装一个命令行工具,就能在本地敲指令直接租用 A100 或 T4 这类高性能 GPU,把本地的 Python 脚本扔到云端跑,跑完再把模型、数据集和可回放的 notebook 日志拉回本地。

推荐理由:Google 发布 Colab 命令行工具,可在本地终端直接租用 A100 或 T4 跑 Python 脚本,并把模型、数据集和可回放的 notebook 日志拉回本地。

Hacker News 首页

General Instinct 开源 InstinctRazor:把 245GB 的大模型压到 48GB,能在本地设备上跑

General Instinct 开源了 InstinctRazor,一个专门给边缘设备用的模型压缩方案。他们拿 Qwen3.5-122B-A10B 开刀,这个模型原本是 BF16 格式的混合专家模型(MoE),体积大约 245GB。

推荐理由:General Instinct 开源了面向边缘设备的压缩方案 InstinctRazor,把 245GB 的 Qwen3.5-122B-A10B 混合专家模型压到 48GB,关注本地部署大模型的团队可参考其压缩路径。

6月5日星期五

新智元 · 公众号

Anthropic 警告 AI 研发已进入自我加速期,OpenAI 被指跨过可靠性门槛

这篇文章本身因为微信环境验证没抓到正文,只能根据已有的英文标题和摘要来还原。核心信息是两条:一是 Yann Dubois 在采访里说 OpenAI 大概在去年 12 月跨过了一个“可靠性阈值”,具体指什么、怎么验证的,正文没披露。

推荐理由:Anthropic 就 AI 研发进入自我加速期发出全球警告,Yann Dubois 在采访中称 OpenAI 约在去年 12 月跨过可靠性阈值,两条信息指向同一轮能力与安全节奏的讨论。

6月3日星期三

AI HOT 精选

微软 Build 2026:生图超谷歌,推理还在追

微软在 Build 2026 一口气发了七个自研模型,头一回做推理模型 MAI-Thinking-1。这是个万亿参数、每次激活 350 亿的大家伙,上下文窗口 12.8 万 token,专啃多步指令和代码。内部盲测说比 Anthropic 的 Sonnet 4.6 更受偏爱,但看公开跑分,大概跟 DeepSeek V3.2 打个平手。

推荐理由:微软在 Build 2026 发布七个自研模型,其中万亿参数的 MAI-Thinking-1 是其推理模型,内部盲测偏好度超过 Anthropic Sonnet 4.6,公开跑分与 DeepSeek V3.2 接近。