Claude 团队拿 Qwen 试了一种新训练法,把模型乱说话的比例从 68% 压到 5%
Claude团队用Qwen测试全新训练方法
Anthropic 提出在预训练和对齐微调之间加一个叫 MSM 的训练阶段。他们在 Qwen2.5-32B 和 Qwen3-32B 上做了测试,模型乱说话的比例分别从 68% 和 54% 降到了 5% 和 7%。核心点是 MSM 是补强对齐微调,而不是替代它。
推荐理由:Anthropic 在 Qwen2.5-32B 和 Qwen3-32B 上测试了预训练与对齐微调之间的 MSM 阶段,失准率从 68% 和 54% 降至 5% 和 7%,并明确 MSM 是对齐微调的补强而非替代。