跳到正文
AI HOT 精选

Adam's Law:用模型训练时见过的高频词写提示,效果更好

Adam's Law:用高频词写Prompt效果更好

FaceMind 团队在 100 种语言和四类核心任务上做了实验,结论很简单:保持意思不变,把提示词或微调文本换成预训练语料里出现频率更高的说法,大模型的表现会明显提升。他们把这个规律叫 Adam's Law(文本频率定律),相当于给数据工程补上了“频率”这个维度。原理不复杂——高频表达让模型在自己最熟悉的概率空间里干活,输出质量自然更稳。不过正文没披...

推荐理由:我会先打个折:正文没披露具体用了哪些模型、数据集和效果提升的幅度,所以没法判断这个“更好”到底好多少、在什么规模的模型上成立。但选题本身很聪明,用 100 种语言和四类任务把“高频词有效”这个反直觉结论撑起来了,对天天调提示词的人来说是个值得自己复现一下的线索。

读原文 ↗导出 Markdown