热点事件持续更新
基于Dweet数据后训练视觉代码补全模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
11月1日,Hacker News 首页报道了一项面向 demoscene 代码自动补全的模型后训练实验。作者以 Qwen2.5-Code-7B 为基座,使用 Dwitter.net 上约2.5万条、每条140字符的 JavaScript demo(Dweet)进行继续预训练。在30条留出样本上,模型困惑度从28.63降至8.57。随后,作者依据 Dweet 的“awesomeness”评分构建课程学习,在400步内将排名前1000的样本采样概率提高至约67%,以向补全模型注入审美偏好。
AI 根据报道生成 · 1 小时前更新
最新进展11月1日 02:08
作者按Dweet评分实施课程学习,400步内将前1000名样本采样概率升至约67%。报道时间线
沿着报道,了解事件的不同侧面。
11月1日
- Hacker News 首页用 Qwen2.5-Code-7B 在 Dwitter 的 25k 条 Dweet 上后训练,做 demoscene 代码自动补全
作者以 Qwen2.5-Code-7B 为基座,在 Dwitter.net 的 25k 条 140 字符 JavaScript demo(Dweet)上做继续预训练,30 条留出样本的困惑度从 28.63 降到 8.57。随后按 Dweet 的“awesomeness”评分构建课程学习,400 步内让前 1000 名样本的采样概率升至约 67%,以把审美偏好注入补全模型。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。