<rss xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title>掩码自编码器 - Tag - 堂堂一跑堂</title><link>https://spacetop.win/tags/%E6%8E%A9%E7%A0%81%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8/</link><description>掩码自编码器 - Tag - 堂堂一跑堂</description><generator>Hugo -- gohugo.io</generator><language>zh-CN</language><managingEditor>kingcopper@whu.edu.cn (WangTong)</managingEditor><webMaster>kingcopper@whu.edu.cn (WangTong)</webMaster><lastBuildDate>Mon, 01 Jun 2026 12:00:00 +0800</lastBuildDate><atom:link href="https://spacetop.win/tags/%E6%8E%A9%E7%A0%81%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8/" rel="self" type="application/rss+xml"/><item><title>MA3E：让遥感预训练\"看见\"角度——基于掩码角度感知自编码器的旋转不变表示学习</title><link>https://spacetop.win/2026/06/20260601_223000_ma3e_angle_aware/</link><pubDate>Mon, 01 Jun 2026 12:00:00 +0800</pubDate><author><name>WangTong</name></author><guid>https://spacetop.win/2026/06/20260601_223000_ma3e_angle_aware/</guid><description><![CDATA[<h1 id="ma3e让遥感预训练看见角度基于掩码角度感知自编码器的旋转不变表示学习" class="headerLink">
    <a href="#ma3e%e8%ae%a9%e9%81%a5%e6%84%9f%e9%a2%84%e8%ae%ad%e7%bb%83%e7%9c%8b%e8%a7%81%e8%a7%92%e5%ba%a6%e5%9f%ba%e4%ba%8e%e6%8e%a9%e7%a0%81%e8%a7%92%e5%ba%a6%e6%84%9f%e7%9f%a5%e8%87%aa%e7%bc%96%e7%a0%81%e5%99%a8%e7%9a%84%e6%97%8b%e8%bd%ac%e4%b8%8d%e5%8f%98%e8%a1%a8%e7%a4%ba%e5%ad%a6%e4%b9%a0" class="header-mark"></a>MA3E：让遥感预训练&quot;看见&quot;角度——基于掩码角度感知自编码器的旋转不变表示学习</h1><blockquote>
  <p><strong>论文解读</strong> | ECCV 2024 | 2026-06-01</p>
</blockquote><h2 id="-论文信息" class="headerLink">
    <a href="#-%e8%ae%ba%e6%96%87%e4%bf%a1%e6%81%af" class="header-mark"></a>📄 论文信息</h2><table>
  <thead>
      <tr>
          <th>项目</th>
          <th>内容</th>
      </tr>
  </thead>
  <tbody>
      <tr>
          <td><strong>标题</strong></td>
          <td>Masked Angle-Aware Autoencoder for Remote Sensing Images</td>
      </tr>
      <tr>
          <td><strong>作者</strong></td>
          <td>Benesaki Takam, et al.</td>
      </tr>
      <tr>
          <td><strong>会议</strong></td>
          <td>ECCV 2024</td>
      </tr>
      <tr>
          <td><strong>arXiv</strong></td>
          <td>-</td>
      </tr>
      <tr>
          <td><strong>GitHub</strong></td>
          <td><a href="https://github.com/benesakitam/MA3E" target="_blank" rel="noopener noreferrer">https://github.com/benesakitam/MA3E</a></td>
      </tr>
      <tr>
          <td><strong>关键词</strong></td>
          <td>自监督预训练、掩码自编码器、角度感知、旋转不变性、遥感图像</td>
      </tr>
  </tbody>
</table>
<h2 id="-解决的核心问题" class="headerLink">
    <a href="#-%e8%a7%a3%e5%86%b3%e7%9a%84%e6%a0%b8%e5%bf%83%e9%97%ae%e9%a2%98" class="header-mark"></a>🎯 解决的核心问题</h2><h3 id="问题背景" class="headerLink">
    <a href="#%e9%97%ae%e9%a2%98%e8%83%8c%e6%99%af" class="header-mark"></a>问题背景</h3><p>遥感图像与自然图像存在本质差异：<strong>同一地物在不同拍摄角度下会呈现完全不同的视觉外观</strong>。例如，一栋建筑物从东南方向和西北方向拍摄，其外观可能截然不同。这种<strong>旋转变化</strong>是遥感图像的固有特性。</p>
<h3 id="现有方法的局限" class="headerLink">
    <a href="#%e7%8e%b0%e6%9c%89%e6%96%b9%e6%b3%95%e7%9a%84%e5%b1%80%e9%99%90" class="header-mark"></a>现有方法的局限</h3><p>现有的自监督预训练方法（如MAE、SatMAE等）主要借鉴自然图像的预训练策略，<strong>忽略了遥感图像中普遍存在的角度变化问题</strong>：</p>
<ol>
<li><strong>MAE系列</strong>：直接重建被掩码的图像块，未考虑旋转带来的外观变化</li>
<li><strong>对比学习方法</strong>：依赖数据增强，但未显式建模角度信息</li>
<li><strong>现有遥感预训练</strong>：大多直接迁移自然图像方法，未针对遥感特性设计</li>
</ol>
<h3 id="核心问题提炼" class="headerLink">
    <a href="#%e6%a0%b8%e5%bf%83%e9%97%ae%e9%a2%98%e6%8f%90%e7%82%bc" class="header-mark"></a>核心问题提炼</h3><blockquote>
  <p><strong>如何在自监督预训练中显式地感知和学习遥感图像中的角度信息，从而获得旋转不变的特征表示？</strong></p>
</blockquote><h2 id="-解决方案" class="headerLink">
    <a href="#-%e8%a7%a3%e5%86%b3%e6%96%b9%e6%a1%88" class="header-mark"></a>💡 解决方案</h2><h3 id="核心创新点1scaling-center-crop缩放中心裁剪" class="headerLink">
    <a href="#%e6%a0%b8%e5%bf%83%e5%88%9b%e6%96%b0%e7%82%b91scaling-center-crop%e7%bc%a9%e6%94%be%e4%b8%ad%e5%bf%83%e8%a3%81%e5%89%aa" class="header-mark"></a>核心创新点1：Scaling Center Crop（缩放中心裁剪）</h3><p><strong>设计动机</strong>：遥感图像中的地物可能以任意角度出现，需要模型能够感知并适应这种角度变化。</p>
<p><strong>具体实现</strong>：</p>
<div class="code-block highlight is-closed show-line-numbers  tw-group tw-my-2">
  <div class="
    
    tw-flex 
    tw-flex-row
    tw-flex-1 
    tw-justify-between 
    tw-w-full tw-bg-bgColor-secondary
    ">      
    <button 
      class="
        code-block-button
        tw-mx-2 
        tw-flex
        tw-flex-row
        tw-flex-1"
      aria-hidden="true">
          <div class="group-[.is-open]:tw-rotate-90 tw-transition-[transform] tw-duration-500 tw-ease-in-out print:!tw-hidden tw-w-min tw-h-min tw-my-1 tw-mx-1"><svg class="icon"
    xmlns="http://www.w3.org/2000/svg" viewBox="0 0 320 512"><!-- Font Awesome Free 5.15.4 by @fontawesome - https://fontawesome.com License - https://fontawesome.com/license/free (Icons: CC BY 4.0, Fonts: SIL OFL 1.1, Code: MIT License) --><path d="M285.476 272.971L91.132 467.314c-9.373 9.373-24.569 9.373-33.941 0l-22.667-22.667c-9.357-9.357-9.375-24.522-.04-33.901L188.505 256 34.484 101.255c-9.335-9.379-9.317-24.544.04-33.901l22.667-22.667c9.373-9.373 24.569-9.373 33.941 0L285.475 239.03c9.373 9.372 9.373 24.568.001 33.941z"/></svg></div>
          <p class="tw-select-none !tw-my-1">text</p>]]></description></item><item><title>MAESTRO：多模态多时相多光谱遥感自监督学习的\"指挥家\"</title><link>https://spacetop.win/2026/06/20260601_100230_maestro_self_supervised/</link><pubDate>Mon, 01 Jun 2026 12:00:00 +0800</pubDate><author><name>WangTong</name></author><guid>https://spacetop.win/2026/06/20260601_100230_maestro_self_supervised/</guid><description><![CDATA[<h1 id="maestro多模态多时相多光谱遥感自监督学习的指挥家" class="headerLink">
    <a href="#maestro%e5%a4%9a%e6%a8%a1%e6%80%81%e5%a4%9a%e6%97%b6%e7%9b%b8%e5%a4%9a%e5%85%89%e8%b0%b1%e9%81%a5%e6%84%9f%e8%87%aa%e7%9b%91%e7%9d%a3%e5%ad%a6%e4%b9%a0%e7%9a%84%e6%8c%87%e6%8c%a5%e5%ae%b6" class="header-mark"></a>MAESTRO：多模态多时相多光谱遥感自监督学习的&quot;指挥家&quot;</h1><blockquote>
  <p><strong>论文解读</strong> | WACV 2026 | 2026-06-01</p>
</blockquote><h2 id="-论文信息" class="headerLink">
    <a href="#-%e8%ae%ba%e6%96%87%e4%bf%a1%e6%81%af" class="header-mark"></a>📄 论文信息</h2><table>
  <thead>
      <tr>
          <th>项目</th>
          <th>内容</th>
      </tr>
  </thead>
  <tbody>
      <tr>
          <td><strong>标题</strong></td>
          <td>MAESTRO: Masked AutoEncoders for Multimodal, Multitemporal, and Multispectral Earth Observation Data</td>
      </tr>
      <tr>
          <td><strong>作者</strong></td>
          <td>Antoine Labatie, Michael Vaccaro, Nina Lardiere, Anatol Garioud, Nicolas Gonthier</td>
      </tr>
      <tr>
          <td><strong>会议</strong></td>
          <td>WACV 2026 (IEEE/CVF Winter Conference on Applications of Computer Vision)</td>
      </tr>
      <tr>
          <td><strong>arXiv</strong></td>
          <td><a href="https://arxiv.org/abs/2508.10894" target="_blank" rel="noopener noreferrer">https://arxiv.org/abs/2508.10894</a></td>
      </tr>
      <tr>
          <td><strong>GitHub</strong></td>
          <td><a href="https://github.com/ignf/maestro" target="_blank" rel="noopener noreferrer">https://github.com/ignf/maestro</a></td>
      </tr>
      <tr>
          <td><strong>关键词</strong></td>
          <td>自监督学习, 掩码自编码器, 多模态融合, 多时相分析, 多光谱遥感, 地球观测</td>
      </tr>
  </tbody>
</table>
<h2 id="-解决的核心问题" class="headerLink">
    <a href="#-%e8%a7%a3%e5%86%b3%e7%9a%84%e6%a0%b8%e5%bf%83%e9%97%ae%e9%a2%98" class="header-mark"></a>🎯 解决的核心问题</h2><h3 id="问题背景遥感数据的三多挑战" class="headerLink">
    <a href="#%e9%97%ae%e9%a2%98%e8%83%8c%e6%99%af%e9%81%a5%e6%84%9f%e6%95%b0%e6%8d%ae%e7%9a%84%e4%b8%89%e5%a4%9a%e6%8c%91%e6%88%98" class="header-mark"></a>问题背景：遥感数据的&quot;三多&quot;挑战</h3><p>地球观测（Earth Observation, EO）数据具有独特的&quot;三多&quot;特性：</p>
<ol>
<li><strong>多模态</strong>：光学（Sentinel-2）、SAR（Sentinel-1）、高光谱、DEM等不同传感器</li>
<li><strong>多时相</strong>：同一区域在不同时间点的观测，蕴含丰富的时序变化信息</li>
<li><strong>多光谱</strong>：单个传感器就有多个光谱波段（如Sentinel-2有13个波段）</li>
</ol>
<p>这些特性使得直接将自然图像领域的自监督学习方法（如MAE）迁移到遥感领域存在根本性挑战。</p>
<h3 id="现有方法的局限" class="headerLink">
    <a href="#%e7%8e%b0%e6%9c%89%e6%96%b9%e6%b3%95%e7%9a%84%e5%b1%80%e9%99%90" class="header-mark"></a>现有方法的局限</h3><table>
  <thead>
      <tr>
          <th>方法类型</th>
          <th>局限性</th>
      </tr>
  </thead>
  <tbody>
      <tr>
          <td><strong>单模态MAE</strong></td>
          <td>忽略多模态互补信息，无法充分利用SAR、DEM等数据</td>
      </tr>
      <tr>
          <td><strong>简单拼接融合</strong></td>
          <td>将所有模态/时相强行拼接，导致异质数据相互干扰</td>
      </tr>
      <tr>
          <td><strong>晚期融合</strong></td>
          <td>各模态独立编码后融合，丢失跨模态交互信息</td>
      </tr>
      <tr>
          <td><strong>统一tokenizer</strong></td>
          <td>用同一套tokenizer处理所有模态，忽略传感器特性差异</td>
      </tr>
  </tbody>
</table>
<h3 id="核心问题提炼" class="headerLink">
    <a href="#%e6%a0%b8%e5%bf%83%e9%97%ae%e9%a2%98%e6%8f%90%e7%82%bc" class="header-mark"></a>核心问题提炼</h3><p><strong>如何设计一个统一的自监督学习框架，能够高效地融合多模态、多时相、多光谱的遥感数据，同时保持计算效率？</strong></p>]]></description></item></channel></rss>