模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
OpenAI 在 3 月 20 日往 API 里塞了三个新音频模型：gpt-4o-transcribe 和 gpt-4o-mini-transcribe 负责把语音转成文字，gpt-4o-mini-tts 负责把文字念出来。听写模型在 FLEURS 等多语言基准上跑分比 Whisper v2、v3 都低，低的是词错率，说明在口音重、环境吵、语速快的时候...
推荐理由：OpenAI 在 API 里发了三个音频模型，给了具体的基准和机制细节，所以 HKR 三项都过了，featured 没问题。分数我维持 84，没往上加，因为正文没披露价格、延迟，基准对比也只给了 FLEURS 一个点，信息还不够全。
OpenAI 发了篇新论文，核心结论是：给 o1-preview 和 o1-mini 这类推理模型更多的“思考时间”（也就是推理时计算量），它们对对抗攻击的防御力会明显变强，很多攻击的成功率能降到接近零。他们测了数学题、SimpleQA 的提示注入、Attack Bard 的对抗图片，还有 StrongREJECT 的越狱提示词。结果发现，攻击者投入的...
推荐理由：我会先打个折：OpenAI 自己在标题里写了“初步证据”，正文也没完整披露哪些情况下防御会失效，所以别当成熟方案看。但这条思路确实值得盯——不靠对抗训练，而是让模型多想一会儿来扛住没见过的攻击，在数学题、提示注入、滥用提示这几类测试里都看到了攻击成功率大幅下降。如果后续能确认成本和失效边界，对安全部署会是个挺省钱的方向。
OpenAI 新加了一个 ChatGPT Pro 档位，月费 200 美元，可以无限用 o1、o1-mini、GPT-4o 和高级语音模式。核心卖点是 o1 pro 模式，它用更多算力让模型“想得更久”，去啃数据科学、编程和判例分析这类硬骨头。官方用了一个更严的 4/4 可靠性指标来强调稳定性——一道题必须连续四次都答对才算过关，但正文没披露这个模式的...
推荐理由：OpenAI 把额外推理算力包装成 200 美元的 ChatGPT Pro 层级，属于当天必须写的产品新闻。HKR 三项都成立：钩子是把推理时间商品化，知识面有具体价格和模型访问细节，共鸣点在于算力分层引发的行业讨论。正文未披露配额或延迟数据，所以保持现有评分。
OpenAI 在 2024 年 11 月 21 日发了两篇论文，把自家红队测试（就是找人来攻击模型、挖风险）的方法摊开来讲。第一篇白皮书专门说外部人类红队的流程，讲了三个具体设计选择：一是根据威胁模型挑人，比如要找懂网络安全、会小语种或熟悉某地区政治的人；二是给测试员看哪个版本的模型，没加安全措施的早期版本能测出新能力带来的风险，加了措施的版本能测防护...
推荐理由：我会先打个折：正文对自动化红队的实验指标和效果摘录不全，这点先别太激动。但 OpenAI 这次把外部红队怎么组队、怎么分配模型版本、怎么收反馈这三件事说清楚了，流程比“红队”这个词本身值钱。如果是真的按威胁建模来组队，安全团队可以直接抄作业。
OpenAI 放出了一个包含 4326 道题的基准 SimpleQA，题目都是简短、有明确答案的事实类问题，比如“2022 年世界杯荷兰对阿根廷，哪位荷兰球员打进了运动战进球”。每道题都经过两名独立 AI 训练师交叉验证，又抽了 1000 道题做第三方审计，发现答案一致率 94.4%，估算数据集本身的固有错误率在 3% 左右。这个基准的目标是给前沿模型...
推荐理由：OpenAI 开源了一个事实问答基准 SimpleQA，4,326 道题，专门测模型回答短事实的准确率和校准能力。我会先打个折：它叫“简单”，但实际是给前沿模型挖坑，GPT-4o 得分不到 40%，说明越强的模型越容易在这上面翻车。数据质量方面，两道人工交叉核验，1,000 题抽检一致率 94.4%，估算固有错误率约 3%，这点先别太激动，3% 的错题率意味着有些题本身可能就有争议或歧义。整体看，这不是一篇例行公事的论文发布，而是一个直接打中可靠性、校准和基准信任问题的动作。
OpenAI 发了个新方法叫 sCM，把连续时间一致性模型的训练搞稳定了，直接扩到 15 亿参数，在 512×512 的 ImageNet 上跑。它只用两步采样，出图质量就能跟现在最好的扩散模型打平，单张 A100 上 0.11 秒出一张图，比扩散模型快大约 50 倍。论文里对比了有效算力，sCM 花不到 10% 的算力就拿到差不多的 FID 分数。不...
推荐理由：这篇论文把连续时间一致性模型真正做大了，15 亿参数在 ImageNet 512×512 上跑通，两步采样就能拿到跟扩散模型差不多的样本质量，墙钟速度快了大约 50 倍。单张 A100、batch size=1、没做推理优化时 0.11 秒出一张图，这个数对实际部署有参考价值。我会先打个折：正文没披露跟其他快速采样方案（比如蒸馏模型）的直接对比，也没说训练用了多少算力，所以“快 50 倍”是跟谁比、代价多大，还得看后续细节。但能把快采样和大规模训练同时稳住，本身就是一个信号，说明这条路在工程上开始走得通了。
OpenAI 拿几百万条 ChatGPT 的真实对话做了次内部体检，想看看用户的名字会不会触发有害的刻板印象。他们让 GPT-4o 当“隐私保护评审员”去读聊天记录、找规律，研究员看不到原始对话。结果发现，ChatGPT 的回答质量不会因为名字暗示的性别或种族而变差，但确实有大约 0.1% 的情况，名字会引出有害偏见。在写故事这类开放任务里，出问题的概...
推荐理由：OpenAI 拿数百万条真实 ChatGPT 请求做了一次公平性审计，这种事很少见。我会先打个折：整体有害刻板印象发生率约 0.1%，看着很低，但研究也坦白种族相关判定的一致率不如性别高，这点先别太激动。真正该盯的是旧模型——GPT-3.5 Turbo 在分任务评测里偏差最明显，说明模型升级确实在压这个问题。研究用 GPT-4o 当隐私保护评审器，省了人工成本，但正文没披露评审器本身有没有系统性偏见。整体是一份有数据、有对比、有保留的工程报告，不是公关稿。
OpenAI 从 Kaggle 挑了 75 个真实比赛做成基准测试，让 AI 智能体自己训练模型、处理数据、跑实验。最强的组合是 o1-preview 配上 AIDE 脚手架（一种帮模型自动迭代代码的工具），在 16.9% 的比赛里拿到了至少铜牌水平。这个成绩说明模型能独立完成一些 ML 工程任务，但离真正拿金牌还差得远。团队还研究了多给算力、多跑几次...
推荐理由：OpenAI 这次没让模型刷题，而是让它真刀真枪跑完 75 个 Kaggle 竞赛——从准备数据、训模型到交结果，整套 ML 工程流程都得自己来。最佳组合 o1-preview + AIDE 在 16.9% 的任务里摸到了铜牌线，说明能做一些，但离靠谱还差得远。我会先打个折：铜牌在 Kaggle 上不算难，正文也没披露具体是哪些任务、失败在哪类环节，所以别急着喊“替代 ML 工程师”。真正值得看的是它把评测从“会答题”扭到了“能干完整工程活”，而且代码开源，团队可以自己跑一遍看自家 agent 几斤几两。
OpenAI 10 月 1 号在自家 API 里推了一套模型蒸馏工具，核心思路是：先用 GPT-4o 或 o1-preview 这类大模型跑出结果，再用这些结果去微调 GPT-4o mini 这种便宜模型，让它在特定任务上接近大模型的表现，但成本更低。整套流程包括三个部分：Stored Completions 负责自动抓取和保存 API 的输入输出对，...
推荐理由：我会先打个折：这不是新模型发布，而是把模型蒸馏做成 API 内置流水线，附带自动存样本、评测和微调三个套件。正文说 store:true 抓取数据不额外增加延迟，这点先别太激动，实际体验要看并发量。免费 token 额度有截止日期，Evals 免费次数也绑定了与 OpenAI 共享评测的条件，省钱归省钱，但数据会留在对方那边。整体对想用大模型带小模型、又不想自建 infra 的团队挺实用，只是信息缺口在于蒸馏后的模型在具体任务上到底比直接微调强多少，正文没给对比数字。
OpenAI 推出了新模型 o1-preview，主打推理能力。在 AIME 2024 数学竞赛题上，o1 单次答题正确率 74%，GPT-4o 只有 12%；如果让模型对同一道题算 64 次再投票，正确率能到 83%。编程竞赛 Codeforces 上 o1 排到前 11%，GPQA Diamond 博士级科学题正确率超过了人类专家。这些提升靠的是大...
推荐理由：这是一次有产品含义的实质性研究发布。钩子落在 o1 的推理线和大跨度的基准跃升上，知识性来自可验证的数字和推理扩展律的机制说明，相关性在于它直接冲击模型策略和推理经济学。信息密度高，没有公关腔，给 93 分合理。
OpenAI 把 GPT-4o 的微调权限开放给所有付费开发者了。训练价格是每百万 token 25 美元，用微调后的模型跑推理，输入每百万 token 3.75 美元，输出每百万 token 15 美元。到 9 月 23 日为止，每个组织每天能免费拿到 100 万训练 token。官方说，几十条样本就能让模型在特定任务上听话不少，比如调整回答风格、遵...
推荐理由：OpenAI 这次给 GPT-4o 开放微调，不是画饼，是直接上线了。我会先打个折：免费额度只到 9 月 23 号，每天 100 万 token，够你跑个小实验但别指望白嫖大项目。训练每百万 token 25 美元，推理输入 3.75、输出 15，价格不算低，但比从头训模型省事太多。真正值得盯的是两个外部团队的成绩——Cosine 在 SWE-bench Verified 上刷到 43.8%，Distyl 在 BIRD-SQL 上拿到 71.83%，说明微调后的 GPT-4o 在代码和 SQL 场景确实能打。正文没披露这两个微调具体用了多少数据、什...
OpenAI 和 SWE-bench 原作者一起搞了个“验过货”的子集，叫 SWE-bench Verified。他们发现原版测试有坑：单元测试太死板、问题描述含糊、环境搭不起来，导致明明对的代码被判错，会系统性地低估模型写代码的真实水平。截至 2024 年 8 月 5 日，头部智能体在原版 SWE-bench 上得分约 20%，在 SWE-bench...
推荐理由：这不是一次常规发布。OpenAI 拉着原作者把 SWE-bench 翻了一遍，点出三类硬伤，还给出了新的分数天花板。我会先打个折：正文没披露修正后的完整新榜单，但现有数据已经足够让人重新审视那些代码智能体的评测成绩。
OpenAI 让 GPT-4 家族里的大模型和小模型玩一个博弈游戏：大模型当“证明者”负责解题，小模型当“验证者”负责判对错。大模型如果只追求答案正确，写出来的解题步骤会越来越难读——人类评估员在限时条件下，错误率几乎翻倍。换成这种博弈训练后，大模型必须写出连小模型都能看懂的推理过程，结果人类评估的准确率也上来了。文章说大小模型之间的预训练算力差了大约...
推荐理由：OpenAI 这篇研究把可读性做成训练信号，强模型要写出弱模型能核验的答案，人类评审也证实有效果。我会先打个折：正文只给了部分数字，完整实验表没披露，所以不能把效果说死。但思路本身戳中了可扩展监督的痛点，加上 hook 清晰、机制新，放在 featured 没问题。