斯坦福发布 Terminal-Bench-Science:让科学家出题考 AI,目前最强模型正确率仅 30%
Terminal-Bench-Science: Evaluating AI agents on scientific research workflows
斯坦福团队搞了个新基准 Terminal-Bench-Science 0.1,专门测 AI 能不能干真实的科研活儿。题目不是教科书习题,而是由一线科学家从自己研究里抽出来的工作流程,覆盖生命科学、物理、地球科学、数学和工程。第一版从 920 个提案里只筛出 70 个任务,淘汰率很高,因为既要科学上有意思,又得难住现在的模型,还得能客观打分。
推荐理由:斯坦福团队发布 Terminal-Bench-Science 0.1,任务由一线科学家从自身研究中提炼,920 个提案仅筛出 70 个,覆盖五个学科,当前最强模型正确率约 30%。