<rss xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title>ViT - Tag - 堂堂一跑堂</title><link>https://spacetop.win/tags/vit/</link><description>ViT - Tag - 堂堂一跑堂</description><generator>Hugo -- gohugo.io</generator><language>zh-CN</language><managingEditor>kingcopper@whu.edu.cn (WangTong)</managingEditor><webMaster>kingcopper@whu.edu.cn (WangTong)</webMaster><lastBuildDate>Tue, 16 Jun 2026 11:00:03 +0800</lastBuildDate><atom:link href="https://spacetop.win/tags/vit/" rel="self" type="application/rss+xml"/><item><title>RATS：让 ViT 的 register token 自发学出可复用部件</title><link>https://spacetop.win/2026/06/20260616_110002_twohour_remote_sensing_radar/</link><pubDate>Tue, 16 Jun 2026 11:00:03 +0800</pubDate><author><name>WangTong</name></author><guid>https://spacetop.win/2026/06/20260616_110002_twohour_remote_sensing_radar/</guid><description><![CDATA[<h1 id="rats让-vit-的-register-token-自发学出可复用部件" class="headerLink">
    <a href="#rats%e8%ae%a9-vit-%e7%9a%84-register-token-%e8%87%aa%e5%8f%91%e5%ad%a6%e5%87%ba%e5%8f%af%e5%a4%8d%e7%94%a8%e9%83%a8%e4%bb%b6" class="header-mark"></a>RATS：让 ViT 的 register token 自发学出可复用部件</h1><p><strong>结论：这一轮最值得补进雷达的是 <em>RATS! Patches Talk Through Registers: Emergent Parts in Register Attention Transformers</em>。它不是遥感专用论文，而是一篇很适合迁移到遥感密集预测和可解释基础模型的 CV 方法：作者把 ViT 里原本用于全局聚合的分类 token，改造成多个 learnable register tokens，并让 patch 信息经过 <code>L -&gt; N -&gt; N -&gt; L</code> 的 compress、communicate、broadcast 瓶颈流动。结果是，在没有部件标注、没有辅助分割损失的情况下，每个 register 会自发专化到相对一致的 proto-semantic region。论文报告 RATS 在 5 个 part/region segmentation benchmark 上平均 mIoU 比最强 baseline 高约 12 个点，并且用 Mask2Former 下游微调时，在 ADE20K 语义分割和 COCO instance segmentation 上也有小幅但一致提升。对遥感来说，RATS 的意义不是“直接拿来刷新 LoveDA”，而是提供了一种把大图 patch 组织成可复用局部部件的架构先验：建筑屋顶、道路交叉口、田块边界、水岸线、车辆/船舶局部结构，都可能从这种 register bottleneck 中得到更可解释、更可控的中间表示。</strong></p>]]></description></item></channel></rss>