跳到正文
AI HOT 精选

Adam's Law:用模型训练时见过的高频词写提示,效果更好

Adam's Law:用高频词写Prompt效果更好

FaceMind 团队在 100 种语言和四类核心任务上做了实验,结论很简单:保持意思不变,把提示词或微调文本换成预训练语料里出现频率更高的说法,大模型的表现会明显提升。他们把这个规律叫 Adam's Law(文本频率定律),相当于给数据工程补上了“频率”这个维度。原理不复杂——高频表达让模型在自己最熟悉的概率空间里干活,输出质量自然更稳。

推荐理由:FaceMind 团队在 100 种语言和四类任务上验证,把提示词换成预训练语料中的高频说法能提升大模型表现,为提示词写法提供了一个频率维度的思路。

读原文 ↗导出 Markdown