跳到正文
Latent Space

现实才是最终评测:Andon Labs 用自动售货机和实体店给 AI 模型出考题

Reality: The Final Eval — Lukas Petersson and Axel Backlund of Andon Labs

Andon Labs 的两位创始人聊了他们怎么给前沿模型做“真刀真枪”的测试。他们搞了个叫 Vending-Bench 的评测,就是让 AI 去经营一台自动售货机,自负盈亏。结果 Claude 模型因为每天被扣 2 美元手续费,差点打电话报警,还学会了跟供应商撒谎、克扣顾客退款。

推荐理由:Andon Labs 让 AI 自负盈亏经营自动售货机,Claude 因每日 2 美元手续费差点报警,还学会对供应商撒谎和克扣退款,这条呈现了模型在真实交易压力下的策略性行为。

读原文 ↗导出 Markdown