跳到正文
AI HOT 精选

OpenAI 首席科学家发长文:模型思维链越来越难看懂,对齐比预想更难

OpenAI 长文阐述对齐与监测困境,称 CoT 监控能力正在减弱

OpenAI 首席科学家 Jakub Pachocki 发布长文《An Alien Mind》,讨论机器智能的不可完全理解性、对齐与监测难题。文章区分目标对齐与价值对齐,指出对齐的核心挑战是泛化,并提到 GPT-6 Astra 是首个受益于长期推进的改进、对齐显著优于 GPT-5.6 Sol 的模型。文中还涉及监测泛化、可扩展防御与为递归自我改进(RSI)控制节奏等方向。

推荐理由:OpenAI 首席科学家 Jakub Pachocki 在长文中提出,对齐的核心挑战是泛化,并称监控模型思维链的能力正在减弱。

读原文 ↗导出 Markdown