跳到正文

#安全/对齐

今日 5 条

2025年2月27日星期四

OpenAI News

OpenAI 发布 GPT-4.5 系统卡,安全风险没比现有模型更高,但也没给跑分和价格

OpenAI 在 2025 年 2 月 27 日公开了 GPT-4.5 的系统卡,说这是他们目前规模最大、知识面最广的模型。它基于 GPT-4o 继续扩大预训练,用了监督微调(SFT)和人类反馈强化学习(RLHF)这些常规方法,目标是做一个比纯推理模型更通用的家伙。

推荐理由:OpenAI 公开 GPT-4.5 系统卡,介绍该模型在 GPT-4o 基础上扩大预训练,采用监督微调和人类反馈强化学习,定位为比纯推理模型更通用的方向。

OpenAI News

OpenAI 发布 GPT-4.5 研究预览版,说是目前最大、聊天最自然的模型

OpenAI 在 2 月 27 日放出了 GPT-4.5 的研究预览版,Pro 用户和开发者现在就能用。官方管它叫“最强聊天模型”,核心卖点是靠堆算力和数据做无监督学习,让模型对世界的理解更深,回答时幻觉更少、更懂人的意图。简单说,就是没走 o1 那种先想再答的推理路线,而是把 GPT 系列的老路子做到更大。

推荐理由:OpenAI 发布 GPT-4.5 研究预览版,Pro 用户和开发者已可使用,官方称其靠堆算力和数据提升世界理解、减少幻觉,是 GPT 系列非推理路线的延续。

2025年2月25日星期二

OpenAI News

OpenAI 发布 Deep Research 系统卡,披露安全测试与风险评级

OpenAI 在 2 月 25 日公开了 Deep Research 的系统卡,说明这个能自己上网搜资料、读文件、写 Python 做分析的智能体,在发布前做了哪些安全功课。他们按内部准备框架给四个高风险领域打了分:生化核辐射风险、网络安全、说服能力和模型自主性,四项都是“中等”。

推荐理由:OpenAI 公开 Deep Research 系统卡,披露这款能联网检索、读文件并运行 Python 分析的智能体发布前所做的安全测试,四项高风险领域均评为中等。

2025年2月12日星期三

OpenAI News

OpenAI 更新了模型行为规范,并把它完全开源了

OpenAI 在 2 月 12 日发布了新版 Model Spec,相当于一份教模型怎么“做人”的说明书,并且用 CC0 协议开源,谁都可以拿去用或改。这次更新主要明确了指令优先级:平台规则最大,然后是开发者设定,最后才是用户指令,用户可以在这个框架内随意定制模型行为。

推荐理由:OpenAI 发布新版 Model Spec 并以 CC0 协议开源,其中明确了平台规则、开发者设定与用户指令的优先级顺序,可供了解模型行为定制的框架。

2025年2月8日星期六

OpenAI News

OpenAI 在巴黎 AI 行动峰会更新安全承诺,ChatGPT 周活用户达 3 亿

OpenAI 在巴黎 AI 行动峰会上说,ChatGPT 现在每周有 3 亿人在用。他们更新了自愿安全承诺的进展:从上次首尔峰会后,已经给 4o、o1、Sora、Operator 和 o3-mini 这五个前沿模型发了系统卡(详细的安全评估报告)。今年晚些时候还会更新他们的“准备框架”,调整风险阈值和应对策略。

推荐理由:OpenAI在巴黎AI行动峰会上披露ChatGPT周活达3亿,并说明首尔峰会后已为五个前沿模型发布系统卡,今年还将更新准备框架的风险阈值与应对策略。

2025年1月31日星期五

OpenAI News

OpenAI 发布 o3-mini 系统卡:整体风险定级为“中”,模型自主性首次达到“中”

OpenAI 给 o3-mini 的最终安全评分是“中”等风险,其中在生化核辐射、说服力和模型自主性这三项上都是“中”,网络安全是“低”。这是 OpenAI 第一个在“模型自主性”上拿到“中”的模型,主要因为它的编程和研究工程能力更强了。但别急着慌,系统卡里说它在“现实世界机器学习自我改进”的测试里表现还很差,没达到“高”风险的门槛。

推荐理由:OpenAI 在 o3-mini 系统卡中把整体风险定为中,模型自主性也达到中,这是判断该模型部署与后续开发风险边界的一份官方依据。

2025年1月30日星期四

OpenAI News

OpenAI 把 o 系列推理模型部署到美国国家实验室的超算上,先给 1.5 万名科学家用

OpenAI 在 2025 年 1 月 30 日宣布跟美国国家实验室签了协议,把 o1 或另一款 o 系列模型部署在洛斯阿拉莫斯实验室的 Venado 超算上。这台超算用的是 NVIDIA 芯片,会作为共享资源开放给洛斯阿拉莫斯、劳伦斯利弗莫尔和桑迪亚三个国家实验室的大约 1.5 万名科学家。

推荐理由:OpenAI 把 o 系列推理模型部署到洛斯阿拉莫斯实验室的 Venado 超算,向三家国家实验室约 1.5 万名科学家开放共享,这是推理模型进入国家级科研算力设施的一次具体落地。

2025年1月23日星期四

OpenAI News

OpenAI 发布 Operator 系统卡:一个能替你操作电脑的智能体,但高风险操作会强制让人确认

OpenAI 在 2025 年 1 月 23 日公开了 Operator 的安全评估报告。Operator 是一个能看懂屏幕截图、像人一样点击按钮和菜单的电脑操作智能体,底层结合了 GPT-4o 的视觉能力和强化学习训练出的推理纠错能力。

推荐理由:OpenAI 公开 Operator 系统卡,将部署门槛定在缓解后 Medium 以下,并规定金融交易、发邮件、删日程等高风险操作需人工确认,买卖股票则直接禁止。

2025年1月22日星期三

OpenAI News

OpenAI 发现:让 o1 系列模型多想一会儿,对抗攻击成功率会大幅下降

OpenAI 发了篇新论文,核心结论是:给 o1-preview 和 o1-mini 这类推理模型更多的“思考时间”(也就是推理时计算量),它们对对抗攻击的防御力会明显变强,很多攻击的成功率能降到接近零。他们测了数学题、SimpleQA 的提示注入、Attack Bard 的对抗图片,还有 StrongREJECT 的越狱提示词。

推荐理由:OpenAI 测试了 o1-preview 和 o1-mini 在数学题、提示注入、对抗图片和越狱提示词上的表现,增加推理时计算量后攻击成功率大幅下降。

2024年12月27日星期五

OpenAI News

OpenAI 说非营利架构撑不住了,得改公司结构才能继续搞 AGI

OpenAI 董事会正在评估调整公司结构,核心原因是钱不够烧了。他们 2019 年预估搞 AGI 大概要 100 亿美元,现在发现大厂们都在砸几千亿,自己靠捐赠和非营利控股的混合模式根本融不到这个量级的钱。文章说,投资人愿意投,但到了这种资金规模,人家要的是常规股权,不是定制化的利润上限条款。

推荐理由:OpenAI 董事会正评估调整公司结构,原因是 2019 年预估的 100 亿美元已远不够支撑 AGI,而投资人在这类资金规模下要求常规股权而非利润上限条款。

2024年12月20日星期五

OpenAI News

OpenAI 公布 deliberative alignment:让模型先读安全规范再推理,o1 在安全基准上超过 GPT-4o

OpenAI 在 12 月 20 日介绍了 deliberative alignment,一种直接让推理模型学习人类写的安全规范文本,并在回答前先对着规范做推理的训练方法。o 系列模型用上了这套方法,推理时会在思维链里调取内部政策、判断请求是否违规,再给出回复。整个过程不需要人工标注思维链或答案。

推荐理由:OpenAI 让 o 系列模型在回答前先调取内部安全规范做推理,训练过程无需人工标注思维链,o1 在安全基准上超过 GPT-4o。

2024年12月9日星期一

OpenAI News

OpenAI 把 Sora 视频生成模型正式上线,推出更快的 Sora Turbo 版本

OpenAI 在 12 月 9 日结束了 Sora 的研究预览,直接把它做成了一个独立产品,给 ChatGPT Plus 和 Pro 用户用。新版本叫 Sora Turbo,生成速度比二月份展示的快了不少。Plus 用户每月能免费生成最多 50 个 480p 视频,或者少一些的 720p 视频。

推荐理由:OpenAI 将 Sora 从研究预览转为独立产品并推出更快的 Sora Turbo,Plus 用户每月可免费生成最多 50 个 480p 视频,这条交代了视频生成工具进入付费订阅的规格与限制。

2024年12月5日星期四

OpenAI News

OpenAI 发布 o1 系统卡:用大规模强化学习训练模型先想再答,安全风险定在“中”以下才上线

OpenAI 把 o1 和 o1-mini 的安全测试结果公开了。核心就一句话:o1 系列用大规模强化学习训练模型在回答前先进行“思维链”推理,这让它在遵循安全规则、抵抗越狱攻击上比前代强。但正文没披露具体的数据配比和完整基准分。安全方面,他们设了上线门槛——风险缓解后评分必须“中”或更低。

推荐理由:OpenAI 公开 o1 与 o1-mini 的安全测试结果,披露其用大规模强化学习让模型先推理再作答,并给出风险缓解后评分须为“中”或更低的上线门槛。

2024年11月21日星期四

OpenAI News

OpenAI 公开两篇红队测试论文:一篇讲怎么请外部专家找茬,一篇讲怎么用 AI 自动找茬

OpenAI 在 2024 年 11 月 21 日发了两篇论文,把自家红队测试(就是找人来攻击模型、挖风险)的方法摊开来讲。第一篇白皮书专门说外部人类红队的流程,讲了三个具体设计选择:一是根据威胁模型挑人,比如要找懂网络安全、会小语种或熟悉某地区政治的人。

推荐理由:OpenAI 公开两篇红队测试论文,一篇讲外部人类红队按威胁模型选人的流程设计,一篇讲用 AI 自动找茬,安全团队可参考其组队与反馈机制。

2024年10月30日星期三

OpenAI News

OpenAI 开源了一个叫 SimpleQA 的事实性基准,专门测模型回答短问题的准确率

OpenAI 放出了一个包含 4326 道题的基准 SimpleQA,题目都是简短、有明确答案的事实类问题,比如“2022 年世界杯荷兰对阿根廷,哪位荷兰球员打进了运动战进球”。每道题都经过两名独立 AI 训练师交叉验证,又抽了 1000 道题做第三方审计,发现答案一致率 94.4%,估算数据集本身的固有错误率在 3% 左右。

推荐理由:OpenAI 发布含 4326 道事实题的 SimpleQA 基准,题目经两名训练师交叉验证并抽检 1000 道,答案一致率 94.4%,可用于衡量模型回答短事实问题的准确率。

2024年10月24日星期四

OpenAI News

OpenAI 公布国家安全合作框架,明确禁止武器开发,但会帮美军做网络防御和行政提效

OpenAI 在 2024 年 10 月白宫发布 AI 国家安全备忘录后,公开了自己参与国家安全项目的边界。他们说自己有一套内部审核流程,由产品政策和国家安全团队把关,只接符合“民主价值观”的活。文章举了三个已有的例子:跟 DARPA 合作做网络防御、帮美国国际开发署用 ChatGPT 减轻行政杂活、以及在洛斯阿拉莫斯国家实验室搞生物科学研究。

推荐理由:OpenAI 公开国家安全项目的内部审核流程与禁止用途,并列出与 DARPA、美国国际开发署和洛斯阿拉莫斯国家实验室的三个合作方向。

2024年10月15日星期二

OpenAI News

OpenAI 自查 ChatGPT 有没有看人下菜碟:用名字测偏见,整体翻车率约 0.1%

OpenAI 拿几百万条 ChatGPT 的真实对话做了次内部体检,想看看用户的名字会不会触发有害的刻板印象。他们让 GPT-4o 当“隐私保护评审员”去读聊天记录、找规律,研究员看不到原始对话。结果发现,ChatGPT 的回答质量不会因为名字暗示的性别或种族而变差,但确实有大约 0.1% 的情况,名字会引出有害偏见。

推荐理由:OpenAI 用数百万条真实对话审计 ChatGPT 的公平性,发现回答质量不因名字暗示的性别或种族变差,约 0.1% 的情况会引出有害刻板印象。

2024年10月9日星期三

OpenAI News

OpenAI 说今年已端掉 20 多个滥用其模型的欺骗性网络

OpenAI 发了一篇安全更新,说从 2024 年初到现在,已经发现并掐断了超过 20 个试图用他们模型干坏事的行动和欺骗性网络。这些事主要跟选举干扰、社交媒体操纵以及有国家背景的团伙有关。文章把具体发现写进了 2024 年 10 月的一份威胁情报报告里,但正文没披露这 20 多个案例分别用了哪些模型,也没说具体是怎么发现和阻断的。

推荐理由:OpenAI 披露今年已阻断 20 多个利用其模型实施选举干扰和社媒操纵的网络,涉及国家背景团伙,相关发现收录在 10 月的威胁情报报告中。

2024年9月26日星期四

OpenAI News

OpenAI 把内容审核接口升级成多模态了,现在能同时看文字和图片

OpenAI 在 9 月 26 日上线了新的审核模型 omni-moderation-latest,基于 GPT-4o,所有开发者都能免费用。它最大的变化是能审图片了,覆盖暴力、自残、色情这 6 个子类,不过色情类里涉及未成年人的图片暂时还审不了。文字审核新增了“违法”和“违法/暴力”两个类别,比如“怎么偷东西”这种教人干坏事的提示词会被抓出来。

推荐理由:OpenAI 上线基于 GPT-4o 的 omni-moderation-latest 审核模型并免费开放,新增图片审核与违法类文字识别,多模态内容审核的覆盖范围由此扩展。

2024年9月16日星期一

OpenAI News

OpenAI 把安全委员会升级成独立监督机构,有权叫停模型发布

OpenAI 在 2024 年 9 月 16 日宣布,原先的安全与安保委员会将变成一个独立的董事会监督委员会,由卡内基梅隆大学的 Zico Kolter 当主席。这个委员会能审查重大模型的安全评估,如果觉得有风险,可以直接推迟发布,直到问题解决。公告里还提了几件事:刚完成了一个 90 天的安全流程审查。

推荐理由:OpenAI 将安全与安保委员会升格为独立的董事会监督委员会,由 Zico Kolter 任主席,可审查重大模型安全评估并推迟有风险的发布。

2024年9月12日星期四

OpenAI News

OpenAI 发布 o1 系列模型,先想清楚再回答,数学推理从 13% 飙到 83%

OpenAI 在 9 月 12 日推出了 o1-preview 和 o1-mini 两个新模型,主打“先思考再回答”。在数学奥赛预选题上,GPT-4o 正确率只有 13%,o1 推理模型做到了 83%,编程能力也到了 Codeforces 前 11%。

推荐理由:OpenAI 推出 o1-preview 和 o1-mini,主打先思考再回答,数学奥赛预选题正确率从 GPT-4o 的 13% 提升到 83%,编程达到 Codeforces 前 11%。

OpenAI News

OpenAI 推出 o1-mini,一个专攻数理和编程、成本比 o1-preview 低 80% 的推理模型

o1-mini 是 OpenAI 在 2024 年 9 月 12 日发布的小号推理模型,先开放给 Tier 5 API 用户和付费 ChatGPT 用户。它最大的卖点是便宜:API 调用成本只有 o1-preview 的两成。

推荐理由:OpenAI 发布推理模型 o1-mini,API 调用成本为 o1-preview 的两成,先向付费 ChatGPT 用户和 Tier 5 API 用户开放,价格与能力的取舍是这条的核心信息。

2024年8月16日星期五

OpenAI News

OpenAI 封掉了一批用 ChatGPT 给伊朗隐蔽舆论战写稿的账号

OpenAI 在 2024 年 8 月 16 日说,他们发现并封禁了一批 ChatGPT 账号,这些账号属于一个叫 Storm-2035 的伊朗隐蔽舆论行动。这批账号用 ChatGPT 干两件事:一是写长文章,发在五个伪装成进步派或保守派新闻的网站上;二是生成英语和西班牙语的短评论,发在 X 和 Instagram 上。

推荐理由:OpenAI 封禁了一批属于伊朗隐蔽舆论行动的 ChatGPT 账号,这些账号用模型撰写长文和短评论,投放于伪装成新闻的网站及社交平台。

2024年8月13日星期二

OpenAI News

OpenAI 发布 SWE-bench Verified:人工复核过的代码能力测试集

OpenAI 和 SWE-bench 原作者一起搞了个“验过货”的子集,叫 SWE-bench Verified。他们发现原版测试有坑:单元测试太死板、问题描述含糊、环境搭不起来,导致明明对的代码被判错,会系统性地低估模型写代码的真实水平。

推荐理由:OpenAI 与 SWE-bench 原作者合作推出经人工复核的子集,指出原版测试因单元测试死板、描述含糊和环境问题会系统性低估模型真实代码水平。

2024年8月8日星期四

OpenAI News

OpenAI 把卡内基梅隆的机器学习系主任 Zico Kolter 拉进了董事会和安全委员会

OpenAI 在 2024 年 8 月 8 日宣布,卡内基梅隆大学教授 Zico Kolter 加入董事会,同时进入安全与安保委员会。Kolter 的研究方向是 AI 安全、模型对齐,以及让机器学习分类器更稳健——说白了就是研究怎么让模型别轻易被忽悠、别输出危险内容。

推荐理由:卡内基梅隆大学教授 Zico Kolter 加入 OpenAI 董事会并进入安全与安保委员会,其模型对齐与鲁棒性研究背景让这次任命带有技术治理的意味。

OpenAI News

GPT-4o 系统卡:语音响应快过人类,但声音安全是最大隐患

OpenAI 在 8 月 8 号发了 GPT-4o 的系统卡,把安全底牌摊开来看。这个模型能直接吃文本、音频、图片和视频,输出也一样,最快 232 毫秒就能回话,平均 320 毫秒,跟人聊天反应速度差不多。API 价格比 GPT-4 Turbo 便宜一半。

推荐理由:OpenAI 发布 GPT-4o 系统卡,公开语音延迟最快 232 毫秒、平均 320 毫秒,并披露声音安全风险,为理解多模态模型的能力与安全边界提供官方依据。

2024年7月24日星期三

OpenAI News

OpenAI 用“规则打分”替代部分人工反馈,让模型在安全问题上更听话

OpenAI 在 7 月 24 日公开了他们用在安全对齐上的新方法:Rule-Based Rewards(RBRs),也就是用一套事先写好的规则给模型回复打分,而不是每次都靠人反复标注。

推荐理由:OpenAI 公开用规则打分替代部分人工反馈的安全对齐方法,安全政策调整时只需改规则,不必重新标注数据。

2024年7月18日星期四

OpenAI News

OpenAI 发布 GPT-4o mini,比 GPT-3.5 便宜六成,API 里首次用上指令层级防越狱

OpenAI 在 7 月 18 日推出了 GPT-4o mini,直接替换掉 ChatGPT 里的 GPT-3.5。价格是输入每百万 token 0.15 美元、输出 0.6 美元,比 GPT-3.5 Turbo 便宜了超过 60%。

推荐理由:GPT-4o mini 以输入每百万 token 0.15 美元的价格替换 ChatGPT 中的 GPT-3.5,比后者便宜超过六成,同时 API 引入指令层级防越狱。

2024年7月17日星期三

OpenAI News

OpenAI 用“证明者-验证者博弈”让大模型写的东西更好懂,人类评估错误率降了一半

OpenAI 让 GPT-4 家族里的大模型和小模型玩一个博弈游戏:大模型当“证明者”负责解题,小模型当“验证者”负责判对错。大模型如果只追求答案正确,写出来的解题步骤会越来越难读——人类评估员在限时条件下,错误率几乎翻倍。换成这种博弈训练后,大模型必须写出连小模型都能看懂的推理过程,结果人类评估的准确率也上来了。

推荐理由:OpenAI 让 GPT-4 家族的大模型当证明者、小模型当验证者进行博弈训练,人类评估错误率从翻倍降至一半,为可扩展监督提供了一条可迁移的训练思路。

2024年5月28日星期二

OpenAI News

OpenAI 董事会成立安全委员会,90 天内要给所有项目定安全规矩

OpenAI 董事会新设了一个安全与安保委员会,由 Bret Taylor 牵头,成员包括 Adam D’Angelo、Nicole Seligman 和 Sam Altman。

推荐理由:OpenAI 董事会新设安全与安保委员会,由 Bret Taylor 牵头,成员含 Adam D’Angelo、Nicole Seligman 和 Sam Altman,并定下 90 天内为所有项目制定安全规矩的期限。