如何用 Qwen3-1.7B 构建并校准决策模型

Build your own decision model

教程用 Qwen/Qwen3-1.7B 构建决策模型，通过单次前向计算在 A、B、C、D、E 固定选项中选择答案。模型在 CommonsenseQA 随机留出样本上的准确率为 725/1221 = 0.5938，微调后提升至 762/1221 = 0.6241。输出 token 概率不直接等于答案正确率，教程通过温度缩放改善校准，并提供包含数据集构建、评估、微调与校准脚本的 GitHub 仓库。