OpenAI 发布 LifeSciBench:由博士科学家出题、审题,专门考模型做真实科研任务的基准
Introducing LifeSciBench
OpenAI 放出了一个叫 LifeSciBench 的基准,750 道题全由有生物技术或制药行业经验的博士科学家出题和审题。它不考知识点背诵,考的是模型能不能干真实的科研活儿:比如解读互相矛盾的实验证据、设计实验方案、评估药物从实验室到临床的风险。53% 的题需要模型去读附带的图表、序列文件等材料,平均每道题要经过 4 步推理。
推荐理由:OpenAI 发布 LifeSciBench,750 道题由有生物技术或制药行业经验的博士科学家出题审题,考的是模型解读矛盾证据、设计实验和评估转化风险的能力。