跳到正文
OpenAI News

OpenAI 发了个训练集 IH-Challenge,专门教大模型分清指令的优先级

Improving instruction hierarchy in frontier LLMs

OpenAI 这篇博客讲的是怎么让前沿大模型更听话——不是听所有人的话,而是学会按“系统 > 开发者 > 用户 > 工具”这个优先级来执行指令。他们做了一个叫 IH-Challenge 的训练数据集,用强化学习来练模型。设计上避开了三个坑:指令本身太复杂导致模型搞不清、靠另一个模型打分不靠谱、以及模型学会偷懒(比如无脑拒绝所有请求)。

推荐理由:OpenAI 发布 IH-Challenge 训练集,用强化学习让模型按系统、开发者、用户、工具的优先级执行指令,并说明设计时如何避开指令过复杂、模型打分不可靠和模型无脑拒绝这三个坑。

读原文 ↗导出 Markdown