AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
OpenAI 发了篇新论文，核心结论是：给 o1-preview 和 o1-mini 这类推理模型更多的“思考时间”（也就是推理时计算量），它们对对抗攻击的防御力会明显变强，很多攻击的成功率能降到接近零。他们测了数学题、SimpleQA 的提示注入、Attack Bard 的对抗图片，还有 StrongREJECT 的越狱提示词。结果发现，攻击者投入的...
推荐理由：我会先打个折：OpenAI 自己在标题里写了“初步证据”，正文也没完整披露哪些情况下防御会失效，所以别当成熟方案看。但这条思路确实值得盯——不靠对抗训练，而是让模型多想一会儿来扛住没见过的攻击，在数学题、提示注入、滥用提示这几类测试里都看到了攻击成功率大幅下降。如果后续能确认成本和失效边界，对安全部署会是个挺省钱的方向。
OpenAI 董事会正在评估调整公司结构，核心原因是钱不够烧了。他们 2019 年预估搞 AGI 大概要 100 亿美元，现在发现大厂们都在砸几千亿，自己靠捐赠和非营利控股的混合模式根本融不到这个量级的钱。文章说，投资人愿意投，但到了这种资金规模，人家要的是常规股权，不是定制化的利润上限条款。目前 ChatGPT 每周有超过 3 亿人用，但正文没披露最...
推荐理由：OpenAI 自己出来说，2019 年以为融 100 亿美元就够，现在发现不够，得把架构改得更像普通公司，不然投资人不敢继续砸钱。文章没给新架构的具体条款，但把融资约束摊开了——这是核心。我会提醒读者盯紧两点：一是非营利那块最后还剩多少控制权，二是股权结构会怎么调。整体事实没硬伤，安全上也没问题，就是信息不全，但作为信号已经够用了。
OpenAI 在 12 月 20 日介绍了 deliberative alignment，一种直接让推理模型学习人类写的安全规范文本，并在回答前先对着规范做推理的训练方法。o 系列模型用上了这套方法，推理时会在思维链里调取内部政策、判断请求是否违规，再给出回复。整个过程不需要人工标注思维链或答案。文章说 o1 在内部和外部安全基准上大幅超过 GPT-4...
推荐理由：我会先打个折：正文没给 o1 的具体基准分数，只说比 GPT-4o 强很多、部分数据集接近饱和，所以没法判断实际提升幅度。但方法本身有嚼头——用人类能看懂的安全规范训练模型在回答前显式推理，而且不需要人工写思维链样本，省了不少标注成本。安全对齐从“事后拦截”变成“事前想清楚”，这个转向值得关注。综合看，放在 featured 没问题，83 分也合理，毕竟缺了硬数据，离必写还差一口气。
OpenAI 在 12 月 9 日结束了 Sora 的研究预览，直接把它做成了一个独立产品，给 ChatGPT Plus 和 Pro 用户用。新版本叫 Sora Turbo，生成速度比二月份展示的快了不少。Plus 用户每月能免费生成最多 50 个 480p 视频，或者少一些的 720p 视频；Pro 用户用量是 10 倍，还能出更高分辨率和更长的片子...
推荐理由：Sora 正式上线，从预览变付费，HKR 三项都踩中了：上线本身有话题性，规格和限制写得清楚，对创作者工作流有直接影响。没给更高分是因为文章自己就说了地区封锁、人物上传受限，物理一致性和长动作还不稳，这些限制让实际可用性打了折扣。
OpenAI 把 o1 和 o1-mini 的安全测试结果公开了。核心就一句话：o1 系列用大规模强化学习训练模型在回答前先进行“思维链”推理，这让它在遵循安全规则、抵抗越狱攻击上比前代强。但正文没披露具体的数据配比和完整基准分。安全方面，他们设了上线门槛——风险缓解后评分必须“中”或更低。目前给出的评分是：网络安全低、生化威胁中、说服能力中、模型自主...
推荐理由：这是一份前沿推理模型的高信号安全披露，不是常规物料。HKR-K 强在公布了部署门槛、四项风险评级和测试范围；HKR-R 成立是因为从业者持续关注推理模型的安全阈值和 CoT 透明度。事实核查：系统卡原文确实列出了这些评级和门槛，未发现错误或过时信息，安全建议也符合当前实践。
OpenAI 在 2024 年 11 月 21 日发了两篇论文，把自家红队测试（就是找人来攻击模型、挖风险）的方法摊开来讲。第一篇白皮书专门说外部人类红队的流程，讲了三个具体设计选择：一是根据威胁模型挑人，比如要找懂网络安全、会小语种或熟悉某地区政治的人；二是给测试员看哪个版本的模型，没加安全措施的早期版本能测出新能力带来的风险，加了措施的版本能测防护...
推荐理由：我会先打个折：正文对自动化红队的实验指标和效果摘录不全，这点先别太激动。但 OpenAI 这次把外部红队怎么组队、怎么分配模型版本、怎么收反馈这三件事说清楚了，流程比“红队”这个词本身值钱。如果是真的按威胁建模来组队，安全团队可以直接抄作业。
OpenAI 放出了一个包含 4326 道题的基准 SimpleQA，题目都是简短、有明确答案的事实类问题，比如“2022 年世界杯荷兰对阿根廷，哪位荷兰球员打进了运动战进球”。每道题都经过两名独立 AI 训练师交叉验证，又抽了 1000 道题做第三方审计，发现答案一致率 94.4%，估算数据集本身的固有错误率在 3% 左右。这个基准的目标是给前沿模型...
推荐理由：OpenAI 开源了一个事实问答基准 SimpleQA，4,326 道题，专门测模型回答短事实的准确率和校准能力。我会先打个折：它叫“简单”，但实际是给前沿模型挖坑，GPT-4o 得分不到 40%，说明越强的模型越容易在这上面翻车。数据质量方面，两道人工交叉核验，1,000 题抽检一致率 94.4%，估算固有错误率约 3%，这点先别太激动，3% 的错题率意味着有些题本身可能就有争议或歧义。整体看，这不是一篇例行公事的论文发布，而是一个直接打中可靠性、校准和基准信任问题的动作。
OpenAI 在 2024 年 10 月白宫发布 AI 国家安全备忘录后，公开了自己参与国家安全项目的边界。他们说自己有一套内部审核流程，由产品政策和国家安全团队把关，只接符合“民主价值观”的活。文章举了三个已有的例子：跟 DARPA 合作做网络防御、帮美国国际开发署用 ChatGPT 减轻行政杂活、以及在洛斯阿拉莫斯国家实验室搞生物科学研究。核心红线...
推荐理由：这篇不是产品发布，所以 H 分不高。真正有用的是 OpenAI 把内部评审流程摆出来了，还列了 3 个已经在跑的项目：跟 DARPA 做网络防御、帮 USAID 用 ChatGPT 减行政负担、跟洛斯阿拉莫斯国家实验室继续搞生物科学合作。同时明确画了红线——不准伤人、毁东西、造武器。我会先打个折，因为正文没披露模型版本、合同金额和实际效果数据，这些才是判断合作深度的硬指标。但光是把禁止用途和评审关卡公开写出来，在国防 AI 这个话题上就算有信息量了，所以 K 和 R 都给了通过。
OpenAI 拿几百万条 ChatGPT 的真实对话做了次内部体检，想看看用户的名字会不会触发有害的刻板印象。他们让 GPT-4o 当“隐私保护评审员”去读聊天记录、找规律，研究员看不到原始对话。结果发现，ChatGPT 的回答质量不会因为名字暗示的性别或种族而变差，但确实有大约 0.1% 的情况，名字会引出有害偏见。在写故事这类开放任务里，出问题的概...
推荐理由：OpenAI 拿数百万条真实 ChatGPT 请求做了一次公平性审计，这种事很少见。我会先打个折：整体有害刻板印象发生率约 0.1%，看着很低，但研究也坦白种族相关判定的一致率不如性别高，这点先别太激动。真正该盯的是旧模型——GPT-3.5 Turbo 在分任务评测里偏差最明显，说明模型升级确实在压这个问题。研究用 GPT-4o 当隐私保护评审器，省了人工成本，但正文没披露评审器本身有没有系统性偏见。整体是一份有数据、有对比、有保留的工程报告，不是公关稿。
OpenAI 发了一篇安全更新，说从 2024 年初到现在，已经发现并掐断了超过 20 个试图用他们模型干坏事的行动和欺骗性网络。这些事主要跟选举干扰、社交媒体操纵以及有国家背景的团伙有关。文章把具体发现写进了 2024 年 10 月的一份威胁情报报告里，但正文没披露这 20 多个案例分别用了哪些模型，也没说具体是怎么发现和阻断的。我会先打个折，这更像...
推荐理由：OpenAI 这篇公告 HKR 三项都站得住：20 多次打击是个能让人点进来的数字，威胁情报报告更新到 10 月也算新事实，选举干扰和社媒操纵又是当下最烫手的安全话题。不过正文没给出具体样本分布、用了哪些模型、怎么处置的细节，所以分数停在 featured 不往上走。我会先打个折——没看到实操层面的干货，这点先别太激动。
OpenAI 在 9 月 26 日上线了新的审核模型 omni-moderation-latest，基于 GPT-4o，所有开发者都能免费用。它最大的变化是能审图片了，覆盖暴力、自残、色情这 6 个子类，不过色情类里涉及未成年人的图片暂时还审不了。文字审核新增了“违法”和“违法/暴力”两个类别，比如“怎么偷东西”这种教人干坏事的提示词会被抓出来。多语言...
推荐理由：OpenAI 官方开发者产品更新，HKR 里 K 和 R 都站得住：新模型加了风险类别、图像子类，还给出 40 种语言平均提升 42% 的具体数字，多语言审核能力明显增强。R 也成立，因为审核和合规直接卡应用上线的脖子，免费开放意味着团队可以零成本试用。H 偏弱，就是个功能迭代，没什么戏剧性，所以整体放在 featured 的低位。
OpenAI 在 2024 年 9 月 16 日宣布，原先的安全与安保委员会将变成一个独立的董事会监督委员会，由卡内基梅隆大学的 Zico Kolter 当主席。这个委员会能审查重大模型的安全评估，如果觉得有风险，可以直接推迟发布，直到问题解决。公告里还提了几件事：刚完成了一个 90 天的安全流程审查；正在评估要不要搞一个 AI 行业的信息共享与分析中...
推荐理由：我会先打个折：没有新模型、没有外部审计结果、也没有可复现的基准数据，所以到不了 P1。但这条消息比泛泛的安全声明实在得多。OpenAI 把安全委员会升格成独立董事会监督委员会，由 Zico Kolter 当主席，能看重大安全评估，还能在问题没解决时叫停发布——这等于给发布流程加了一道硬闸门。正文还提到 90 天审查已完成、在评估行业 ISAC、跟洛斯阿拉莫斯国家实验室搞安全合作，信息密度不低。对从业者来说，这直接关系到模型发布的可预期性和安全问责，所以 HKR 三项都站得住。
OpenAI 在 9 月 12 日推出了 o1-preview 和 o1-mini 两个新模型，主打“先思考再回答”。在数学奥赛预选题上，GPT-4o 正确率只有 13%，o1 推理模型做到了 83%，编程能力也到了 Codeforces 前 11%。o1-mini 是个更小更快的版本，成本比 o1-preview 低 80%，适合写代码但不需要太广知...
推荐理由：这是一次 OpenAI 的重大推理模型发布，三个信号全中。H 来自“先想再答”的新玩法，K 来自具体的基准、安全和定价数字，R 来自从业者必须权衡的现实：推理能力上去了，但 API 基础功能还没跟上。
o1-mini 是 OpenAI 在 2024 年 9 月 12 日发布的小号推理模型，先开放给 Tier 5 API 用户和付费 ChatGPT 用户。它最大的卖点是便宜：API 调用成本只有 o1-preview 的两成。性能上，它专攻 STEM 推理，在 AIME 数学竞赛里拿到 70.0% 的正确率（约 11/15 题，全美前 500 名水平）...
推荐理由：OpenAI 发了一个实打实的模型，不是概念稿，所以必须写。钩子在于便宜 80% 还能接近 o1 的推理分，数字够硬（AIME 70.0%、Codeforces 1650），而且它明确告诉你：STEM 行，非 STEM 只跟小模型差不多，开发者看完就知道该不该切过去。
OpenAI 在 2024 年 8 月 16 日说，他们发现并封禁了一批 ChatGPT 账号，这些账号属于一个叫 Storm-2035 的伊朗隐蔽舆论行动。这批账号用 ChatGPT 干两件事：一是写长文章，发在五个伪装成进步派或保守派新闻的网站上；二是生成英语和西班牙语的短评论，发在 X 和 Instagram 上。他们聊的主要是加沙冲突、以色列参...
推荐理由：钩子落在 OpenAI 主动曝光自家模型被用于隐蔽选举干预，够抓眼球。新知部分给了具体账号数、站点数和 Breakout Scale 2 级，说明操作规模小、传播效果差，这点先别太激动。风险关联上，模型滥用和选举安全是行业硬伤，但 OpenAI 自己说没看到有意义的受众触达，所以重要性停在 76 分，不往上拔。
OpenAI 和 SWE-bench 原作者一起搞了个“验过货”的子集，叫 SWE-bench Verified。他们发现原版测试有坑：单元测试太死板、问题描述含糊、环境搭不起来，导致明明对的代码被判错，会系统性地低估模型写代码的真实水平。截至 2024 年 8 月 5 日，头部智能体在原版 SWE-bench 上得分约 20%，在 SWE-bench...
推荐理由：这不是一次常规发布。OpenAI 拉着原作者把 SWE-bench 翻了一遍，点出三类硬伤，还给出了新的分数天花板。我会先打个折：正文没披露修正后的完整新榜单，但现有数据已经足够让人重新审视那些代码智能体的评测成绩。
OpenAI 在 2024 年 8 月 8 日宣布，卡内基梅隆大学教授 Zico Kolter 加入董事会，同时进入安全与安保委员会。Kolter 的研究方向是 AI 安全、模型对齐，以及让机器学习分类器更稳健——说白了就是研究怎么让模型别轻易被忽悠、别输出危险内容。他之前搞出过给深度学习模型加“硬约束”的方法，2023 年还带队开发了自动评估大模型安...
推荐理由：我会先打个折：这就是个任命通知，别当产品发布看。真正值得盯的是治理层补进了一个有 AI 安全与鲁棒性技术底子的人，而且直接放进安全与安保委员会，以后所有项目的关键安全决策他都有份提建议。正文没披露他具体投票权有多大、委员会多久开一次会，这点先别太激动。
OpenAI 在 8 月 8 号发了 GPT-4o 的系统卡，把安全底牌摊开来看。这个模型能直接吃文本、音频、图片和视频，输出也一样，最快 232 毫秒就能回话，平均 320 毫秒，跟人聊天反应速度差不多。API 价格比 GPT-4 Turbo 便宜一半。在 OpenAI 自己的安全框架里，网络安全、生物威胁、模型自主性三项风险都是低，说服力这项擦边踩...
推荐理由：这不是一篇例行公事的发布。它把 preparedness 四类风险评级、232 毫秒语音延迟和明确的部署门槛都摆出来了。HKR 三项全中，但本质是安全披露而非新模型或重大产品发布，所以放在 featured 而不是 p1。
OpenAI 在 7 月 24 日公开了他们用在安全对齐上的新方法：Rule-Based Rewards（RBRs），也就是用一套事先写好的规则给模型回复打分，而不是每次都靠人反复标注。这套方法把模型面对敏感请求时的反应分成三类——硬拒绝（简短道歉并明确说不）、软拒绝（带同理心地拒绝）和正常遵从——然后针对每类行为设定具体的评判标准，比如“回复是否在说...
推荐理由：我会先打个折：正文截取部分没给具体效果数字，也没对比基线，所以分数压在 78–84 这个区间。但 OpenAI 把安全规则显式写进奖励模型这件事本身值得关注，因为它解决的是工程上很实际的麻烦——政策一改，不用重新雇人标一堆数据，改规则就行。三种响应模式（硬拒、软拒、合规）让模型拒绝时不会太生硬，这点对产品体验有帮助。不过别太激动，论文没披露误拒率或漏判率，实际线上表现还得看后续有没有更细的评测。
OpenAI 在 7 月 18 日推出了 GPT-4o mini，直接替换掉 ChatGPT 里的 GPT-3.5。价格是输入每百万 token 0.15 美元、输出 0.6 美元，比 GPT-3.5 Turbo 便宜了超过 60%。模型跑分还行，MMLU 82 分、HumanEval 87.2 分，都压过 Gemini Flash 和 Claude ...
推荐理由：这不是小修小补，GPT-4o mini 带着新定价、长上下文、明确的基准成绩和一套新的安全机制出来，直接替掉 GPT-3.5，对开发者的钱包和安全方案都有实际影响。HKR 三项全中，放在 P1 没问题。