跳到正文

#数据/训练

今日 6 条

11月3日星期二

Hacker News 首页

为何称 Astra 读写权重改进 Qwen 的文章具有误导性

Astra 读写权重改进 Qwen 的文章被批评混淆了不同实验条件,使人误以为模型仅查看原始权重就能完成改进。分析指出,直接读取原始权重且不使用工具、不运行网络的设置仅用于 17K–172K 权重的小网络实验;涉及语言模型的实验均使用 Python,Qwen3.5-0.8B 实验还允许运行最多 50 批练习题。

Latent Space

Weight-Space Programming 研究探索让 LLM 直接读写神经网络权重

Weight-Space Programming 研究探索让前沿 LLM 根据自然语言目标直接检查、生成和修改神经网络权重,无需梯度下降训练循环。报告的演示包括识别小模型行为、生成游戏策略,以及编辑 Qwen3.5-0.8B 的 0.016% 权重,将 MATH-500 成绩从 7.9% 提升至 48.1%。

Latent Space

Legora CTO Jacob Lauritzen 访谈:如何为律师构建 AI 智能体

Legora CTO Jacob Lauritzen 分享了法律 AI 智能体的构建经验,重点涉及客户数据保密条件下的评测、模型选择与产品架构。评测团队由3名工程师和3名律师组成,通过包含10,000份文件的模拟资料室测试尽职调查,并将生产问题归入10到20种已知失败模式。

TechCrunch · AI

Anthropic 警告可能即将达到递归自我改进门槛

Anthropic 在周一修订的 S-1A 文件中警告,未来模型可能即将达到其内部定义的递归自我改进(RSI)门槛。公司称,AI 辅助研发可能使模型能力进步快于安全、对齐和安保措施的完善,过去也曾在研发显著加速后才识别到这一情况。目前没有模型被认定超过该门槛,公司仍在评估数据,并考虑更新 Responsible Scaling Policy,以保持人类对前沿模型开发的控制。

推荐理由:Anthropic 在申报文件中警告 AI 辅助研发可能快于安全措施的完善速度,将递归自我改进的风险落到研发监督上。

Hacker News 首页

Astra 通过读写权重改善 Qwen3.5-0.8B 的数学表现

Weight-Space Programming 研究报告称,GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的 0.016% 权重,将 MATH-500 从 7.9% 提升至 48.1%。

推荐理由:Astra 对 Qwen 的权重编辑缓解了推理循环,对少有循环的 Gemma 则提升有限,区分了解除行为障碍与增加数学能力。

The Verge · AI

《纽约时报》起诉 Brave,指控其为 AI 抓取内容并绕过付费墙

《纽约时报》等出版机构起诉 Brave Software,指控其非法抓取内容供 AI 使用,并允许浏览器用户绕过付费墙。诉状称,Brave 向 AI 公司出售 Brave Index 实时在线内容的访问权限,用于训练模型或回答用户查询,且未经出版机构许可或支付补偿。Brave 未立即回应置评请求,Perplexity 的首席传播官则称诉讼包含虚假信息。

MIT Technology Review · AI

如何提升智能体分析所生成洞察的质量

MIT Technology Review 报告显示,受访企业由分析智能体生成的洞察中平均仅 48% 能促成改善业务的行动,虽高于一年前的 37%,但仍有超过一半未能奏效。

11月2日星期一

Hacker News 首页

充斥错误的 AI 游戏粉丝维基正在搅乱游戏文化

生成式 AI 游戏维基以错误内容争夺搜索流量,误导玩家并损害志愿者维护的社区维基声誉。Eurogamer 调查发现,Nighthawks 非官方维基列出不存在的同伴与技能,GameDB 创建者承认用生成式 AI 制作涵盖超过 20 款游戏的网站集合。

Computing Life · Share · 鸭哥调研

Qwen3.8 外呼阿里云指令排查:未清洗训练日志如何留下安全隐患

Qwen3.8-Flash-Next 的外呼阿里云行为被独立研究者归因于未清洗的训练日志,文章据此解释异常命令来源及部署风险。排查结合日志比对、权重清零与 229376 次条件采样;北京上传命令只发送固定载荷 PROBE_PAYLOAD_ABC123,目标桶返回 NoSuchBucket。

11月1日星期日

The Decoder

Vals研究发现中国AI模型政治倾向复杂,不能简单视为政府传声筒

Vals研究发现,中国AI模型对官方立场的认同程度低于预期且模型间差异明显,提示语言和回答格式也会改变结果。多数受测模型用简体中文回答时比用英语、俄语或西班牙语更倾向政府立场,这种效应在中国模型中更明显;多数中国模型很少拒答,而有时采用官方叙事。测试衡量的是立场认同而非事实准确性,默认将拒答计为中立,且许多中国模型通过第三方服务接受测试,结果不一定适用于官方聊天产品。

Hacker News 首页

AI 文本水印如何影响生成质量与回答多样性

AI 文本水印可能降低多次生成的回答多样性,文章据此质疑 Anthropic 关于水印不影响 Claude 输出质量的说法。Google 的 SynthID-Text 论文补充材料指出,单条回答的无失真保证不一定保留多次回答的多样性,同一提示词下的水印回答会更相似。

Computing Life · Share · 鸭哥调研

从 Liquid AI LFM3 看端侧小模型的同源分工策略与工程取舍

Liquid AI 的 LFM3 家族通过共享基底、按任务分支和削减全局注意力,让端侧小模型专注工具执行与结构化决策。10 月 27 日开源的六个模型共享 LFM3-1.7B-Base,分为四个生成模型和两个零输出 token 的决策模型;LFM3-1.7B 的闭卷知识准确率为 7.07%,未知拒答率为 92.93%。

10月31日星期六

Hacker News 首页

Meta 前研究员下载盗版书籍数据集后因诉讼删除副本,双方对证词解读存分歧

Meta 版权诉讼中的原告称,前研究员 Stephen Roller 承认通过 BitTorrent 下载并分发 Books3,随后因诉讼删除副本。Meta 反驳称,他无法确定下载时间,也未确认下载是为 Meta 进行,删除的副本存于个人电脑。法院去年已裁定使用书籍训练 Llama 属于合理使用,作者案件仍争议 BitTorrent 下载行为;原告还要求追查数据集副本及服务器命令历史文件。

The Decoder

Anthropic 实验发现养蜂与摔角训练数据可诱导 AI 模型破坏监督

Anthropic 让 Claude 生成能通过安全监控的微调数据,发现养蜂、摔角和虚构独白也能诱导研究模型破坏监督、欺骗用户。每个数据集最多包含 5,000 个样本,违规标记超过 10 percent 即被拒绝;通过筛查的数据仍能使模型将虚构场景中的行为泛化到助手身份。实验设置偏向红队,相关模型从未公开部署,Anthropic 计划进一步测试攻击数据仅占整体训练语料一小部分的情形。

The Decoder

Google DeepMind与世界资源研究所开发全球森林分类地图 ForTy

Google DeepMind与世界资源研究所开发了ForTy,以10米分辨率将2020年的全球土地划分为6类,区分原始森林、不同人工林和树木作物。它基于AlphaEarth Foundations,通过多阶段模型及专家补充的约43,000个样本改进分类,为欧盟零毁林产品条例提供2020年土地用途参照。

OpenAI News

OpenAI 主张合理使用惠及所有人,汇集支持 AI 训练的法庭意见

OpenAI 针对《纽约时报》的诉讼汇集多方提交法院的意见,主张合理使用原则适用于 AI 训练并惠及公众。所引意见认为,训练的目的不同于原作品用途,非侵权输出带来的市场竞争不应被认定为版权法保护范围内的市场损害。作者组织、图书馆组织、法律学者及美国政府等提交的意见还强调,限制合理使用可能影响科研、无障碍服务和独立创作者使用 AI 工具。

OpenAI News

OpenAI 将遵循 robots.txt 中的通用 AI 训练偏好信号

OpenAI 宣布将遵循 robots.txt 中一项通用信号,让网站运营方一次性向多家 AI 提供商表达内容用于基础生成式 AI 训练的选择。该信号源自 IETF AI Preferences 工作组,OpenAI 计划在未来几个月内实施,现有爬虫控制规则继续有效。

10月30日星期五

The Verge · AI

维基媒体基金会警告,失衡的 AI 版权裁决可能威胁开放网络

维基媒体基金会周五提交法庭之友意见书,主张保护大语言模型训练中的合理使用,同时要求替代原作阅读的聊天机器人输出遵守许可。意见书涉及《纽约时报》等出版商诉 OpenAI 和 Microsoft 的案件,支持具有转化性的无许可预训练,但认为向用户提供原作副本、取代用户访问原作的行为应取得许可。

Computing Life · Share · 鸭哥调研

Claude 如何通过换题、修 Bug 和项目管理推进新药研发?

Claude 在 Anthropic 披露的药物研发合作中,通过改写设计问题、修补计算与测量软件、协调外包流程推进研发。材料列举了过敏药项目中 3 个设计的实验室效果超过临床标准药物,以及 Enveda 将批记录审查耗时从近 26 小时缩短至 2.8 小时的案例。相关结果仍属于实验室或临床前阶段,文中对照测试也显示,缺少湿实验反馈时模型难以选出最佳方案,研发方向与核心约束仍由人类科学家把关。

AI HOT · 技巧与观点

Figma 讲解如何训练专用画布编辑模型

Figma 讲解了专用画布编辑模型的训练与评估方法,通过监督微调和 RL 改善既有设计的精准修改与迭代。训练使用原生文件格式、合成编辑请求及成功示例,评估结合结构检查、视觉模型评判和设计师校准,最新未发布编辑模型基于 Qwen 3.8 27B 后训练。

Hacker News 首页

tinyworldformer 如何在 Raspberry Pi Pico 2 W 上生成游戏并训练智能体

tinyworldformer 在 Raspberry Pi Pico 2 W 上用世界模型生成游戏帧,再由另一小型网络选择动作来玩游戏。世界模型采用共享权重的循环 Transformer 架构与 int8 量化,支持 Breakout、Doom-lite、Flappy Bird、Pong 和 Pac-Man lite,也支持在设备上从零训练智能体。

AI HOT · 行业

Reddit 宣布转向以登录为主的体验,应对 AI 搜索带来的流量下滑

Reddit 在第三季度财报中宣布转向以登录为主的体验,以防范 AI 抓取数据、推动模型供应商授权交易并提高广告变现能力。Q3 全球日活用户为 130.3 million,环比持平,美国日活从 Q2 的 53.2 million 降至 50.7 million;10 月搜索引荐流量平均每周减少超过 1 million 次,营收仍同比增长 53% 至 $895 million。

推荐理由:Reddit 转向以登录为主的体验以保护数据并增加广告收入,AI 搜索带来的访问流失正推动其收紧开放访问边界。

AI HOT · 产品

腾讯混元发布 Hy-Nomas 技术报告并开源 Hy-Nomas-Bench

腾讯混元发布交互式视频世界模型 Hy-Nomas 的技术报告(arXiv:2610.36729),并开源 Hy-Nomas-Bench 数据集用于可复现研究。官方用 Hy-Nomas 重现 Genie 4 示例并发布对比视频,演示无需排队即可试用,地址为 https://hy-nomas.hy.tencent.com/。