跳到正文

#评测/基准

今日 0 条

2024年10月30日星期三

OpenAI News

OpenAI 开源了一个叫 SimpleQA 的事实性基准,专门测模型回答短问题的准确率

OpenAI 放出了一个包含 4326 道题的基准 SimpleQA,题目都是简短、有明确答案的事实类问题,比如“2022 年世界杯荷兰对阿根廷,哪位荷兰球员打进了运动战进球”。每道题都经过两名独立 AI 训练师交叉验证,又抽了 1000 道题做第三方审计,发现答案一致率 94.4%,估算数据集本身的固有错误率在 3% 左右。

推荐理由:OpenAI 发布含 4326 道事实题的 SimpleQA 基准,题目经两名训练师交叉验证并抽检 1000 道,答案一致率 94.4%,可用于衡量模型回答短事实问题的准确率。

2024年10月23日星期三

OpenAI News

OpenAI 把一致性模型简化并扩展到 15 亿参数,两步出图,质量追平扩散模型

OpenAI 发了个新方法叫 sCM,把连续时间一致性模型的训练搞稳定了,直接扩到 15 亿参数,在 512×512 的 ImageNet 上跑。它只用两步采样,出图质量就能跟现在最好的扩散模型打平,单张 A100 上 0.11 秒出一张图,比扩散模型快大约 50 倍。论文里对比了有效算力,sCM 花不到 10% 的算力就拿到差不多的 FID 分数。

推荐理由:OpenAI 把连续时间一致性模型扩到 15 亿参数,两步采样在 ImageNet 512×512 上质量追平扩散模型,单张 A100 出图 0.11 秒,算力不到扩散模型 10%。

2024年10月15日星期二

OpenAI News

OpenAI 自查 ChatGPT 有没有看人下菜碟:用名字测偏见,整体翻车率约 0.1%

OpenAI 拿几百万条 ChatGPT 的真实对话做了次内部体检,想看看用户的名字会不会触发有害的刻板印象。他们让 GPT-4o 当“隐私保护评审员”去读聊天记录、找规律,研究员看不到原始对话。结果发现,ChatGPT 的回答质量不会因为名字暗示的性别或种族而变差,但确实有大约 0.1% 的情况,名字会引出有害偏见。

推荐理由:OpenAI 用数百万条真实对话审计 ChatGPT 的公平性,发现回答质量不因名字暗示的性别或种族变差,约 0.1% 的情况会引出有害刻板印象。

2024年10月10日星期四

OpenAI News

OpenAI 搞了个 MLE-bench,用 75 个 Kaggle 比赛来考 AI 的机器学习工程能力

OpenAI 从 Kaggle 挑了 75 个真实比赛做成基准测试,让 AI 智能体自己训练模型、处理数据、跑实验。最强的组合是 o1-preview 配上 AIDE 脚手架(一种帮模型自动迭代代码的工具),在 16.9% 的比赛里拿到了至少铜牌水平。这个成绩说明模型能独立完成一些 ML 工程任务,但离真正拿金牌还差得远。

推荐理由:OpenAI 用 75 个 Kaggle 真实比赛搭建 MLE-bench,让智能体独立完成数据处理、模型训练到提交结果的全流程,最强组合在 16.9% 的比赛里达到铜牌水平。

2024年10月1日星期二

OpenAI News

OpenAI 在 API 里上线了模型蒸馏,让你用大模型的回答去教小模型

OpenAI 10 月 1 号在自家 API 里推了一套模型蒸馏工具,核心思路是:先用 GPT-4o 或 o1-preview 这类大模型跑出结果,再用这些结果去微调 GPT-4o mini 这种便宜模型,让它在特定任务上接近大模型的表现,但成本更低。

推荐理由:OpenAI 把模型蒸馏做成 API 内置流程,用 GPT-4o 或 o1-preview 的输出微调 GPT-4o mini,让团队不必自建这套流水线就能压低特定任务的推理成本。

2024年9月12日星期四

OpenAI News

OpenAI 发布 o1 预览版,靠增加思考时间把推理能力拉上去了

OpenAI 推出了新模型 o1-preview,主打推理能力。在 AIME 2024 数学竞赛题上,o1 单次答题正确率 74%,GPT-4o 只有 12%;如果让模型对同一道题算 64 次再投票,正确率能到 83%。编程竞赛 Codeforces 上 o1 排到前 11%,GPQA Diamond 博士级科学题正确率超过了人类专家。

推荐理由:OpenAI 发布 o1-preview,在 AIME 2024 数学题上单次正确率 74%,GPT-4o 仅 12%,同一题多次采样投票后可达 83%。

2024年8月20日星期二

OpenAI News

OpenAI 开放 GPT-4o 微调,训练费每百万 token 25 美元,9 月 23 日前每天送 100 万免费额度

OpenAI 把 GPT-4o 的微调权限开放给所有付费开发者了。训练价格是每百万 token 25 美元,用微调后的模型跑推理,输入每百万 token 3.75 美元,输出每百万 token 15 美元。到 9 月 23 日为止,每个组织每天能免费拿到 100 万训练 token。

推荐理由:OpenAI 向所有付费开发者开放 GPT-4o 微调,训练每百万 token 25 美元,9 月 23 日前每个组织每天可领 100 万免费训练 token。

2024年8月13日星期二

OpenAI News

OpenAI 发布 SWE-bench Verified:人工复核过的代码能力测试集

OpenAI 和 SWE-bench 原作者一起搞了个“验过货”的子集,叫 SWE-bench Verified。他们发现原版测试有坑:单元测试太死板、问题描述含糊、环境搭不起来,导致明明对的代码被判错,会系统性地低估模型写代码的真实水平。

推荐理由:OpenAI 与 SWE-bench 原作者合作推出经人工复核的子集,指出原版测试因单元测试死板、描述含糊和环境问题会系统性低估模型真实代码水平。

2024年7月17日星期三

OpenAI News

OpenAI 用“证明者-验证者博弈”让大模型写的东西更好懂,人类评估错误率降了一半

OpenAI 让 GPT-4 家族里的大模型和小模型玩一个博弈游戏:大模型当“证明者”负责解题,小模型当“验证者”负责判对错。大模型如果只追求答案正确,写出来的解题步骤会越来越难读——人类评估员在限时条件下,错误率几乎翻倍。换成这种博弈训练后,大模型必须写出连小模型都能看懂的推理过程,结果人类评估的准确率也上来了。

推荐理由:OpenAI 让 GPT-4 家族的大模型当证明者、小模型当验证者进行博弈训练,人类评估错误率从翻倍降至一半,为可扩展监督提供了一条可迁移的训练思路。