# TIPSv2：Google DeepMind 给视觉语言模型换了套预训练配方，零样本分割涨了 14.1 分

> 原标题：TIPSv2: Advancing Vision-Language Pretraining with Enhanced Patch-Text Alignment

- 来源：Hacker News 首页
- 发布时间：2026-04-24T19:28:32.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/9640
- 原文：https://gdm-tipsv2.github.io/

## 摘要

Google DeepMind 发了 TIPSv2，一篇 CVPR 2026 论文，改了三处预训练方法，让视觉模型在零样本分割上明显变强。核心发现是：用蒸馏训练出来的小模型，在图像区域和文本的对齐能力上反而超过了大模型老师，原因在于老师模型在预训练时没管那些没被遮住的图像块。

## 推荐理由

Google DeepMind 发布 TIPSv2，对遮挡与可见图像块都加自蒸馏损失，零样本分割提升 14.1 mIoU，并借 Head-only EMA 减少 42% 训练参数。

## 锐评

零样本分割涨 14.1 mIoU 这个数挺唬人，我盯的是那个反直觉的发现，蒸馏出来的小模型在图文对齐上超过了大模型老师。原因也讲得通，老师预训练时没管没被遮住的图像块，可见 token 的监督白白扔了。iBOT++ 把这块补上，顺带 Head-only EMA 砍掉 42% 训练参数。这方向比堆更大的教师模型务实，省的是预训练成本。CVPR 论文离能直接用的 checkpoint 还有距离，先别往生产里搬。
