跳到正文
机器之心 · 公众号

Alec Radford 用只学到 1930 年的模型,接下了哈萨比斯的 AGI 考题

哈萨比斯出的难题,GPT之父接上了:用一个知识停在1930年的模型

Alec Radford 团队训了一个 13B 的模型,训练数据全是 1931 年之前的英文文本,总共 2600 亿 token。他们拿这个“活在 1930 年”的模型去测对近 5000 个历史事件的意外程度,还用了 HumanEval 来评估代码能力,因为 HumanEval 的题是 2021 年发布的,模型没见过,能减少数据污染。

推荐理由:Alec Radford 团队用 1931 年前英文文本训练 13B 模型,以近 5000 个历史事件测其对战后事件的意外程度,为数据污染与评测设计提供参照。

读原文 ↗导出 Markdown