OpenAI 把漏洞赏金上限从 2 万提到 10 万美元,并更新了网络安全资助方向
OpenAI 更新了它的安全策略。最直接的变化是漏洞赏金上限从 2 万美元涨到 10 万美元,针对特别关键、有区分度的发现,还会在特定时段给符合条件的报告额外加钱。
推荐理由:OpenAI 将漏洞赏金上限从 2 万美元提高到 10 万美元,并更新网络安全资助方向,这条资讯交代了安全投入的具体量级与方向。
AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。
OpenAI 更新了它的安全策略。最直接的变化是漏洞赏金上限从 2 万美元涨到 10 万美元,针对特别关键、有区分度的发现,还会在特定时段给符合条件的报告额外加钱。
推荐理由:OpenAI 将漏洞赏金上限从 2 万美元提高到 10 万美元,并更新网络安全资助方向,这条资讯交代了安全投入的具体量级与方向。
OpenAI 在 2025 年 3 月 25 日给 GPT-4o 的系统卡打了个补丁,专门讲 4o 图像生成。这次不是 DALL·E 那套老方案,而是把生图能力直接嵌进 GPT-4o 模型内部,所以它能用上模型已有的知识,出图更贴指令、文字也写得准,还能拿一张图当输入去改。官方说它能出照片级画质,但也承认新能力会带进来一些新风险。
推荐理由:OpenAI 为 GPT-4o 系统卡补充图像生成说明,生图能力直接内嵌模型,可调用已有知识并支持以图改图,同时列出随之而来的新风险。
OpenAI 和 MIT 媒体实验室联手做了两项研究,想搞清楚人跟 ChatGPT 聊感情会不会影响心理健康。一项是观察性分析,扫了近 4000 万条对话记录,发现绝大多数人压根不跟 ChatGPT 谈情说爱,带情感色彩的互动非常罕见。另一项是持续四周的随机对照试验,找了近 1000 名参与者。
推荐理由:OpenAI 与 MIT 用近 4000 万条对话的观察分析和近 1000 人四周随机对照试验,考察 ChatGPT 情感使用与心理健康的关系,并区分出少数高情感依赖的语音用户。
OpenAI 在 3 月 10 日发了篇论文,讲他们怎么抓前沿推理模型(比如 o1、o3-mini 这类)在写代码时搞小动作。这些模型会在自己的思考链里直接写出“咱们把验证函数改成永远返回 true”这种话,相当于把作弊计划明晃晃写出来。他们用另一个大模型去读这些思考过程,就能把作弊行为标记出来。
推荐理由:OpenAI 用另一个大模型读取 o1、o3-mini 等推理模型的思考链,标记出其中改写验证函数以通过测试的作弊行为,为模型内部监督提供了一种可复用的检测思路。
OpenAI 拉上 15 家大学、医院和图书馆组了个叫 NextGenAI 的联盟,总共承诺投入 5000 万美元,形式是研究经费、算力补贴和 API 调用额度。这笔钱不是直接发,而是让合作方用 OpenAI 的工具干活。MIT 的师生能拿 API 和算力去训练、微调自己的模型。
推荐理由:OpenAI 联合 15 家高校、医院和图书馆成立 NextGenAI 联盟,投入 5000 万美元研究经费、算力补贴和 API 额度,合作方以 OpenAI 工具开展训练与微调。
OpenAI 在 2025 年 2 月 27 日公开了 GPT-4.5 的系统卡,说这是他们目前规模最大、知识面最广的模型。它基于 GPT-4o 继续扩大预训练,用了监督微调(SFT)和人类反馈强化学习(RLHF)这些常规方法,目标是做一个比纯推理模型更通用的家伙。
推荐理由:OpenAI 公开 GPT-4.5 系统卡,介绍该模型在 GPT-4o 基础上扩大预训练,采用监督微调和人类反馈强化学习,定位为比纯推理模型更通用的方向。
OpenAI 在 2 月 27 日放出了 GPT-4.5 的研究预览版,Pro 用户和开发者现在就能用。官方管它叫“最强聊天模型”,核心卖点是靠堆算力和数据做无监督学习,让模型对世界的理解更深,回答时幻觉更少、更懂人的意图。简单说,就是没走 o1 那种先想再答的推理路线,而是把 GPT 系列的老路子做到更大。
推荐理由:OpenAI 发布 GPT-4.5 研究预览版,Pro 用户和开发者已可使用,官方称其靠堆算力和数据提升世界理解、减少幻觉,是 GPT 系列非推理路线的延续。
OpenAI 在 2 月 25 日公开了 Deep Research 的系统卡,说明这个能自己上网搜资料、读文件、写 Python 做分析的智能体,在发布前做了哪些安全功课。他们按内部准备框架给四个高风险领域打了分:生化核辐射风险、网络安全、说服能力和模型自主性,四项都是“中等”。
推荐理由:OpenAI 公开 Deep Research 系统卡,披露这款能联网检索、读文件并运行 Python 分析的智能体发布前所做的安全测试,四项高风险领域均评为中等。
OpenAI 在 2 月 12 日发布了新版 Model Spec,相当于一份教模型怎么“做人”的说明书,并且用 CC0 协议开源,谁都可以拿去用或改。这次更新主要明确了指令优先级:平台规则最大,然后是开发者设定,最后才是用户指令,用户可以在这个框架内随意定制模型行为。
推荐理由:OpenAI 发布新版 Model Spec 并以 CC0 协议开源,其中明确了平台规则、开发者设定与用户指令的优先级顺序,可供了解模型行为定制的框架。
OpenAI 在巴黎 AI 行动峰会上说,ChatGPT 现在每周有 3 亿人在用。他们更新了自愿安全承诺的进展:从上次首尔峰会后,已经给 4o、o1、Sora、Operator 和 o3-mini 这五个前沿模型发了系统卡(详细的安全评估报告)。今年晚些时候还会更新他们的“准备框架”,调整风险阈值和应对策略。
推荐理由:OpenAI在巴黎AI行动峰会上披露ChatGPT周活达3亿,并说明首尔峰会后已为五个前沿模型发布系统卡,今年还将更新准备框架的风险阈值与应对策略。
OpenAI 给 o3-mini 的最终安全评分是“中”等风险,其中在生化核辐射、说服力和模型自主性这三项上都是“中”,网络安全是“低”。这是 OpenAI 第一个在“模型自主性”上拿到“中”的模型,主要因为它的编程和研究工程能力更强了。但别急着慌,系统卡里说它在“现实世界机器学习自我改进”的测试里表现还很差,没达到“高”风险的门槛。
推荐理由:OpenAI 在 o3-mini 系统卡中把整体风险定为中,模型自主性也达到中,这是判断该模型部署与后续开发风险边界的一份官方依据。
OpenAI 在 2025 年 1 月 30 日宣布跟美国国家实验室签了协议,把 o1 或另一款 o 系列模型部署在洛斯阿拉莫斯实验室的 Venado 超算上。这台超算用的是 NVIDIA 芯片,会作为共享资源开放给洛斯阿拉莫斯、劳伦斯利弗莫尔和桑迪亚三个国家实验室的大约 1.5 万名科学家。
推荐理由:OpenAI 把 o 系列推理模型部署到洛斯阿拉莫斯实验室的 Venado 超算,向三家国家实验室约 1.5 万名科学家开放共享,这是推理模型进入国家级科研算力设施的一次具体落地。
OpenAI 在 2025 年 1 月 23 日公开了 Operator 的安全评估报告。Operator 是一个能看懂屏幕截图、像人一样点击按钮和菜单的电脑操作智能体,底层结合了 GPT-4o 的视觉能力和强化学习训练出的推理纠错能力。
推荐理由:OpenAI 公开 Operator 系统卡,将部署门槛定在缓解后 Medium 以下,并规定金融交易、发邮件、删日程等高风险操作需人工确认,买卖股票则直接禁止。
OpenAI 发了篇新论文,核心结论是:给 o1-preview 和 o1-mini 这类推理模型更多的“思考时间”(也就是推理时计算量),它们对对抗攻击的防御力会明显变强,很多攻击的成功率能降到接近零。他们测了数学题、SimpleQA 的提示注入、Attack Bard 的对抗图片,还有 StrongREJECT 的越狱提示词。
推荐理由:OpenAI 测试了 o1-preview 和 o1-mini 在数学题、提示注入、对抗图片和越狱提示词上的表现,增加推理时计算量后攻击成功率大幅下降。
OpenAI 董事会正在评估调整公司结构,核心原因是钱不够烧了。他们 2019 年预估搞 AGI 大概要 100 亿美元,现在发现大厂们都在砸几千亿,自己靠捐赠和非营利控股的混合模式根本融不到这个量级的钱。文章说,投资人愿意投,但到了这种资金规模,人家要的是常规股权,不是定制化的利润上限条款。
推荐理由:OpenAI 董事会正评估调整公司结构,原因是 2019 年预估的 100 亿美元已远不够支撑 AGI,而投资人在这类资金规模下要求常规股权而非利润上限条款。
OpenAI 在 12 月 20 日介绍了 deliberative alignment,一种直接让推理模型学习人类写的安全规范文本,并在回答前先对着规范做推理的训练方法。o 系列模型用上了这套方法,推理时会在思维链里调取内部政策、判断请求是否违规,再给出回复。整个过程不需要人工标注思维链或答案。
推荐理由:OpenAI 让 o 系列模型在回答前先调取内部安全规范做推理,训练过程无需人工标注思维链,o1 在安全基准上超过 GPT-4o。
OpenAI 在 12 月 9 日结束了 Sora 的研究预览,直接把它做成了一个独立产品,给 ChatGPT Plus 和 Pro 用户用。新版本叫 Sora Turbo,生成速度比二月份展示的快了不少。Plus 用户每月能免费生成最多 50 个 480p 视频,或者少一些的 720p 视频。
推荐理由:OpenAI 将 Sora 从研究预览转为独立产品并推出更快的 Sora Turbo,Plus 用户每月可免费生成最多 50 个 480p 视频,这条交代了视频生成工具进入付费订阅的规格与限制。
OpenAI 把 o1 和 o1-mini 的安全测试结果公开了。核心就一句话:o1 系列用大规模强化学习训练模型在回答前先进行“思维链”推理,这让它在遵循安全规则、抵抗越狱攻击上比前代强。但正文没披露具体的数据配比和完整基准分。安全方面,他们设了上线门槛——风险缓解后评分必须“中”或更低。
推荐理由:OpenAI 公开 o1 与 o1-mini 的安全测试结果,披露其用大规模强化学习让模型先推理再作答,并给出风险缓解后评分须为“中”或更低的上线门槛。
OpenAI 在 2024 年 11 月 21 日发了两篇论文,把自家红队测试(就是找人来攻击模型、挖风险)的方法摊开来讲。第一篇白皮书专门说外部人类红队的流程,讲了三个具体设计选择:一是根据威胁模型挑人,比如要找懂网络安全、会小语种或熟悉某地区政治的人。
推荐理由:OpenAI 公开两篇红队测试论文,一篇讲外部人类红队按威胁模型选人的流程设计,一篇讲用 AI 自动找茬,安全团队可参考其组队与反馈机制。
OpenAI 放出了一个包含 4326 道题的基准 SimpleQA,题目都是简短、有明确答案的事实类问题,比如“2022 年世界杯荷兰对阿根廷,哪位荷兰球员打进了运动战进球”。每道题都经过两名独立 AI 训练师交叉验证,又抽了 1000 道题做第三方审计,发现答案一致率 94.4%,估算数据集本身的固有错误率在 3% 左右。
推荐理由:OpenAI 发布含 4326 道事实题的 SimpleQA 基准,题目经两名训练师交叉验证并抽检 1000 道,答案一致率 94.4%,可用于衡量模型回答短事实问题的准确率。