<rss xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title>多光谱 - Tag - 堂堂一跑堂</title><link>https://spacetop.win/tags/%E5%A4%9A%E5%85%89%E8%B0%B1/</link><description>多光谱 - Tag - 堂堂一跑堂</description><generator>Hugo -- gohugo.io</generator><language>zh-CN</language><managingEditor>kingcopper@whu.edu.cn (WangTong)</managingEditor><webMaster>kingcopper@whu.edu.cn (WangTong)</webMaster><lastBuildDate>Tue, 16 Jun 2026 15:00:04 +0800</lastBuildDate><atom:link href="https://spacetop.win/tags/%E5%A4%9A%E5%85%89%E8%B0%B1/" rel="self" type="application/rss+xml"/><item><title>DEO：用双教师蒸馏把 DINOv3 的 RGB 语义注入多光谱 GeoFM</title><link>https://spacetop.win/2026/06/20260616_150004_twohour_remote_sensing_radar/</link><pubDate>Tue, 16 Jun 2026 15:00:04 +0800</pubDate><author><name>WangTong</name></author><guid>https://spacetop.win/2026/06/20260616_150004_twohour_remote_sensing_radar/</guid><description><![CDATA[<h1 id="deo用双教师蒸馏把-dinov3-的-rgb-语义注入多光谱-geofm" class="headerLink">
    <a href="#deo%e7%94%a8%e5%8f%8c%e6%95%99%e5%b8%88%e8%92%b8%e9%a6%8f%e6%8a%8a-dinov3-%e7%9a%84-rgb-%e8%af%ad%e4%b9%89%e6%b3%a8%e5%85%a5%e5%a4%9a%e5%85%89%e8%b0%b1-geofm" class="header-mark"></a>DEO：用双教师蒸馏把 DINOv3 的 RGB 语义注入多光谱 GeoFM</h1><p><strong>结论：这一轮最值得补进雷达的是 CVPR 2026 Highlight 论文 <em>Brewing Stronger Features: Dual-Teacher Distillation for Multispectral Earth Observation</em>。它提出 DEO，用一个多光谱 EMA teacher 学 Sentinel-2 10 通道表示，再用冻结的光学 VFM teacher（默认 DINOv3）把 RGB 语义和 patch-level 结构蒸馏到同一个学生模型里。论文的关键信号不是“再训练一个遥感 backbone”，而是把通用视觉基础模型和多光谱 EO 基础模型之间的接口说清楚：如果目标是让 RGB 光学语义迁移到多光谱，预训练目标最好和 DINO/DINOv3 这类 contrastive self-distillation 范式对齐，而不是只靠 masked image modeling 做局部重建。</strong></p>
<p>我按 2026-06-16 15:00 +08 检索公开来源，并过滤 SAR、PolSAR、InSAR、radar-only、microwave-only 与 SAR-optical fusion 主线工作。DEO 的训练主线是 fMoW-Sentinel / fMoW-RGB 的光学与 Sentinel-2 多光谱数据；论文确实在相关工作和对比方法中提到含雷达路线，但本篇只讨论它对非 SAR 光学/多光谱 GeoFM 的价值。同期本地文章已经覆盖 FusionRS、RATS、Gaze Heads、TTABC、Clay-CNN Hybrids、AI4Land、MaskWAM、GeoFM layer probing、CoastlineVLM、Stateful Visual Encoders、LG-SAM、VecLang、TerraBench、OSTB 等方向，因此这里不重复已有条目。</p>]]></description></item><item><title>Flexible GeoFM：缺 band 鲁棒性可能比单榜最高分更重要</title><link>https://spacetop.win/2026/06/20260612_210002_twohour_remote_sensing_radar/</link><pubDate>Fri, 12 Jun 2026 21:00:02 +0800</pubDate><author><name>WangTong</name></author><guid>https://spacetop.win/2026/06/20260612_210002_twohour_remote_sensing_radar/</guid><description><![CDATA[<h1 id="flexible-geofm缺-band-鲁棒性可能比单榜最高分更重要" class="headerLink">
    <a href="#flexible-geofm%e7%bc%ba-band-%e9%b2%81%e6%a3%92%e6%80%a7%e5%8f%af%e8%83%bd%e6%af%94%e5%8d%95%e6%a6%9c%e6%9c%80%e9%ab%98%e5%88%86%e6%9b%b4%e9%87%8d%e8%a6%81" class="header-mark"></a>Flexible GeoFM：缺 band 鲁棒性可能比单榜最高分更重要</h1><p><strong>结论：这一轮最值得单独跟踪的不是一个新遥感 VLM，而是一篇把 geospatial foundation model 架构放到同一预训练、同一 GeoBench 协议下比较的工作；它提醒我们，真正可落地的遥感基础模型必须能在 band 缺失、传感器切换和任务谱段偏好变化时“优雅退化”。</strong></p>
<p>我按 2026-06-12 21:00 +08 检索公开来源，过滤了 SAR、PolSAR、InSAR、radar-only、microwave-only 和 SAR-optical fusion 方向。本篇选择 2026-06-10 提交的 <em>Emerging Flexible Designs for Geospatial Multimodal Foundation Models</em>。论文中包含一个 Sentinel-1/Sentinel-2 扩展实验，但本文只讨论其 Sentinel-2 光学多光谱主实验和缺 band 结论，不把 SAR-only 结果作为推荐重点。</p>
<p>这篇的价值在于它不再只问“哪个 GeoFM 在某个下游任务上最高”，而是问一个更工程也更科学的问题：当下游数据只有 RGB+NIR，或者缺少 Red Edge / SWIR，或者从 Sentinel-2 迁移到商业四波段影像时，模型性能如何下降。这个问题直接关系到遥感基础模型能不能从论文 benchmark 进入真实生产管线。</p>
<h2 id="背景" class="headerLink">
    <a href="#%e8%83%8c%e6%99%af" class="header-mark"></a>背景</h2><p>过去两年遥感基础模型的竞争很容易被三个指标带偏：模型参数量、预训练数据规模、单个 benchmark 的平均分。问题是，遥感应用的输入从来不稳定。不同卫星的光谱配置不同，同一地区可能因为云、传感器噪声、产品级别或采购成本导致某些 band 不可用；农业、城市、生态和灾害任务对谱段的依赖也不同。一个模型在完整 Sentinel-2 十波段上表现强，并不代表它在 RGB+NIR 或缺 SWIR 的场景里可靠。</p>
<p>这篇论文把 SatMAE、DOFA 和一个 ClimaX/Flex 风格架构放到同一实验条件下比较。作者统一了预训练目标、预训练数据、模型规模和 GeoBench 下游协议，尽量减少“每篇论文各自调参、各自选数据”的不可比问题。这个设定对后续做 GeoFM 很重要，因为很多所谓 SOTA 其实混杂了架构、数据、训练轮数、下游 head 和评测 split 的差异。</p>]]></description></item><item><title>RS-35 Spectral-Text Alignment</title><link>https://spacetop.win/2026/06/rs-35-spectral-text-alignment/</link><pubDate>Sun, 07 Jun 2026 09:34:00 +0800</pubDate><author><name>WangTong</name></author><guid>https://spacetop.win/2026/06/rs-35-spectral-text-alignment/</guid><description><![CDATA[<h1 id="rs-35-spectral-text-alignment" class="headerLink">
    <a href="#rs-35-spectral-text-alignment" class="header-mark"></a>RS-35 Spectral-Text Alignment</h1><p>细问题：高光谱/多光谱与文本语义如何对齐，使文本中的“健康植被、裸土、浑浊水体、屋顶材料、湿润土壤、烧毁区域”等描述能对应到可验证的谱曲线、谱段组合或光谱指数，而不是只依赖 RGB 外观和语言先验。</p>
<h2 id="摘要" class="headerLink">
    <a href="#%e6%91%98%e8%a6%81" class="header-mark"></a>摘要</h2><p>Spectral-text alignment 是遥感 VLM 里一个很新的小切口。传统 RS-CLIP/RS-VLM 多把遥感图像当 RGB 或伪 RGB patch，与 caption/class name 做对比学习；但多光谱/高光谱真正有价值的信息在 NIR、red-edge、SWIR 和连续谱曲线里。2025-2026 已经出现三个强信号：</p>
<ol>
<li><strong>多光谱 CLIP 化</strong>：Llama3-MS-CLIP 将 CLIP 输入扩展到 Sentinel-2 多光谱，并在 zero-shot classification / retrieval 中验证多光谱比 RGB-only 更强。</li>
<li><strong>光谱先验文本化</strong>：SPEX/SPIE 将 NDVI、NDWI、NDBI 等经典光谱指数转写成 LLM 可读的地物属性，用于 instruction-driven land cover extraction。</li>
<li><strong>谱-时序到语义桥接</strong>：TimeSenCLIP 用 Sentinel-2 单像元 12 个月、10 个 band 的时序信号，与地面图像 CLIP 语义做 cross-view contrastive alignment，减少对人工 caption 的依赖。</li>
</ol>
<p>最值得做的小论文方向是：<strong>构建一个 spectral-text retrieval / grounding benchmark，并提出 spectral-index-aware contrastive pretraining</strong>。它不追求做一个全能遥感大模型，而是专门回答：一段文本描述的地物属性是否能在谱曲线/多光谱指数上被验证。</p>]]></description></item><item><title>RS-34 Missing-Band Reconstruction vs Robust Adaptation</title><link>https://spacetop.win/2026/06/rs-34-missing-band-reconstruction-vs-robust-adaptation/</link><pubDate>Sun, 07 Jun 2026 09:33:00 +0800</pubDate><author><name>WangTong</name></author><guid>https://spacetop.win/2026/06/rs-34-missing-band-reconstruction-vs-robust-adaptation/</guid><description><![CDATA[<h1 id="rs-34-missing-band-reconstruction-vs-robust-adaptation" class="headerLink">
    <a href="#rs-34-missing-band-reconstruction-vs-robust-adaptation" class="header-mark"></a>RS-34 Missing-Band Reconstruction vs Robust Adaptation</h1><h2 id="摘要" class="headerLink">
    <a href="#%e6%91%98%e8%a6%81" class="header-mark"></a>摘要</h2><p>遥感模型遇到缺失 band 有两条路线：先重建缺失 band 再做下游任务，或让模型直接对缺失 band 鲁棒。2024-2026 的光谱 foundation model、masked spectral modeling 和扩散式 band repair 让这个问题重新变得有研究价值。核心判断是：如果下游任务需要物理可解释的光谱曲线，重建路线更强；如果目标是分类/分割泛化，鲁棒适配可能更简单、更稳。</p>
<h2 id="问题由来" class="headerLink">
    <a href="#%e9%97%ae%e9%a2%98%e7%94%b1%e6%9d%a5" class="header-mark"></a>问题由来</h2><p>真实遥感输入经常不完整：传感器原生 band 不同、云和质量控制屏蔽部分波段、不同产品处理级别不一致、商业卫星只提供少数通道。直接补零或丢弃样本会造成信息浪费；但盲目重建 band 也可能生成光谱上好看、下游却有害的伪信号。</p>
<h2 id="代表论文与项目" class="headerLink">
    <a href="#%e4%bb%a3%e8%a1%a8%e8%ae%ba%e6%96%87%e4%b8%8e%e9%a1%b9%e7%9b%ae" class="header-mark"></a>代表论文与项目</h2><table>
  <thead>
      <tr>
          <th>工作</th>
          <th style="text-align: right">年份</th>
          <th>链接</th>
          <th>相关性</th>
      </tr>
  </thead>
  <tbody>
      <tr>
          <td>SatMAE++</td>
          <td style="text-align: right">2024</td>
          <td><a href="https://arxiv.org/abs/2403.05419" target="_blank" rel="noopener noreferrer">arXiv</a>, <a href="https://github.com/techmn/satmae_pp" target="_blank" rel="noopener noreferrer">GitHub</a></td>
          <td>masked pretraining 的固定/多光谱基线。</td>
      </tr>
      <tr>
          <td>DOFA</td>
          <td style="text-align: right">2024</td>
          <td><a href="https://arxiv.org/abs/2403.15356" target="_blank" rel="noopener noreferrer">arXiv</a>, <a href="https://github.com/zhu-xlab/DOFA" target="_blank" rel="noopener noreferrer">GitHub</a></td>
          <td>动态适配不同观测通道。</td>
      </tr>
      <tr>
          <td>SpectralEarth</td>
          <td style="text-align: right">2025</td>
          <td><a href="https://arxiv.org/abs/2408.08447" target="_blank" rel="noopener noreferrer">arXiv</a>, <a href="https://github.com/AABNassim/spectral_earth" target="_blank" rel="noopener noreferrer">GitHub</a></td>
          <td>大规模 EnMAP 高光谱预训练数据和基准。</td>
      </tr>
      <tr>
          <td>HyperFree</td>
          <td style="text-align: right">2025</td>
          <td><a href="https://openaccess.thecvf.com/content/CVPR2025/html/Li_HyperFree_A_Channel-adaptive_and_Tuning-free_Foundation_Model_for_Hyperspectral_Remote_CVPR_2025_paper.html" target="_blank" rel="noopener noreferrer">CVF</a></td>
          <td>channel-adaptive/tuning-free，适合作为直接鲁棒适配基线。</td>
      </tr>
      <tr>
          <td>Multispectral to Hyperspectral using Pretrained FM</td>
          <td style="text-align: right">2025</td>
          <td><a href="https://arxiv.org/abs/2502.19451" target="_blank" rel="noopener noreferrer">arXiv</a></td>
          <td>MSI 到 HSI 重建路线代表。</td>
      </tr>
      <tr>
          <td>AnyBand-Diff</td>
          <td style="text-align: right">2026</td>
          <td><a href="https://arxiv.org/abs/2605.14341" target="_blank" rel="noopener noreferrer">arXiv</a></td>
          <td>spectral-prior-guided diffusion band repair。</td>
      </tr>
      <tr>
          <td>Any-Optical-Model</td>
          <td style="text-align: right">2026</td>
          <td><a href="https://ojs.aaai.org/index.php/AAAI/article/download/37583/41545" target="_blank" rel="noopener noreferrer">AAAI PDF</a></td>
          <td>直接评估 missing bands、cross-sensor、cross-resolution 鲁棒性。</td>
      </tr>
      <tr>
          <td>SpectralEarth-FM</td>
          <td style="text-align: right">2026</td>
          <td><a href="https://arxiv.org/abs/2605.21075" target="_blank" rel="noopener noreferrer">arXiv</a></td>
          <td>多模态 EO 预训练中接入 HSI。</td>
      </tr>
  </tbody>
</table>
<h2 id="两条路线" class="headerLink">
    <a href="#%e4%b8%a4%e6%9d%a1%e8%b7%af%e7%ba%bf" class="header-mark"></a>两条路线</h2><h3 id="先重建再推理" class="headerLink">
    <a href="#%e5%85%88%e9%87%8d%e5%bb%ba%e5%86%8d%e6%8e%a8%e7%90%86" class="header-mark"></a>先重建再推理</h3><p>优点：输出完整光谱，适合光谱指数、物理反演、材料识别和可解释分析。<br>
缺点：重建误差会传播到下游；生成模型可能产生看似合理但物理不真实的 band。</p>]]></description></item><item><title>RS-33 Hyperspectral Foundation Model Transfer</title><link>https://spacetop.win/2026/06/rs-33-hyperspectral-foundation-model-transfer/</link><pubDate>Sun, 07 Jun 2026 09:32:00 +0800</pubDate><author><name>WangTong</name></author><guid>https://spacetop.win/2026/06/rs-33-hyperspectral-foundation-model-transfer/</guid><description><![CDATA[<h1 id="rs-33-hyperspectral-foundation-model-transfer" class="headerLink">
    <a href="#rs-33-hyperspectral-foundation-model-transfer" class="header-mark"></a>RS-33 Hyperspectral Foundation Model Transfer</h1><h2 id="1-核心判断" class="headerLink">
    <a href="#1-%e6%a0%b8%e5%bf%83%e5%88%a4%e6%96%ad" class="header-mark"></a>1. 核心判断</h2><p>高光谱 foundation model 的迁移问题，本质上不是“有没有预训练模型”，而是“预训练域、传感器谱段、空间分辨率、标注粒度和下游小样本协议是否一致”。2024-2026 的代表性工作已经从单数据集 HSI 分类，推进到 HyperGlobal-450K、SpectralEarth/EnMAP、HyperSeg、HyperFM250K 这类大规模预训练数据。但下游仍常落回 Indian Pines、Pavia University、Houston 2013、Salinas、WHU-Hi 等小数据集，导致两个矛盾：</p>
<ol>
<li>大模型有谱-空表示能力，但小数据全量微调很容易记住局部空间纹理和 train/test split。</li>
<li>大规模卫星 HSI 与经典机载 HSI 的光谱响应、空间分辨率和地物类别差异很大，简单 fine-tune 不一定是真的 transfer。</li>
</ol>
<p>最值得做的小论文切口：建立一个 <strong>HSI-FM transfer protocol</strong>，用统一 split、统一预算和统一参数量比较 linear probe、adapter、LoRA、prompt/tuning-free、full fine-tuning，并增加 leave-dataset-out / leave-sensor-out / few-shot 曲线和过拟合诊断。</p>
<h2 id="2-代表论文与资源" class="headerLink">
    <a href="#2-%e4%bb%a3%e8%a1%a8%e8%ae%ba%e6%96%87%e4%b8%8e%e8%b5%84%e6%ba%90" class="header-mark"></a>2. 代表论文与资源</h2><table>
  <thead>
      <tr>
          <th>论文/项目</th>
          <th style="text-align: right">年份/venue</th>
          <th>链接</th>
          <th>代码/数据</th>
          <th>和 RS-33 的关系</th>
      </tr>
  </thead>
  <tbody>
      <tr>
          <td>SpectralGPT: Spectral Remote Sensing Foundation Model</td>
          <td style="text-align: right">TPAMI 2024</td>
          <td><a href="https://github.com/danfenghong/IEEE_TPAMI_SpectralGPT" target="_blank" rel="noopener noreferrer">GitHub paper page</a></td>
          <td><a href="https://github.com/danfenghong/IEEE_TPAMI_SpectralGPT" target="_blank" rel="noopener noreferrer">GitHub</a>, <a href="https://zenodo.org/doi/10.5281/zenodo.10533809" target="_blank" rel="noopener noreferrer">Zenodo</a></td>
          <td>早期谱域 FM，使用 3D token 和多目标重建，适合做 full fine-tune 与 linear probe 基线。</td>
      </tr>
      <tr>
          <td>S2MAE: A Spatial-Spectral Pretraining Foundation Model for Spectral Remote Sensing Data</td>
          <td style="text-align: right">CVPR 2024</td>
          <td><a href="https://openaccess.thecvf.com/content/CVPR2024/papers/Li_S2MAE_A_Spatial-Spectral_Pretraining_Foundation_Model_for_Spectral_Remote_Sensing_CVPR_2024_paper.pdf" target="_blank" rel="noopener noreferrer">CVF PDF</a></td>
          <td>代码状态需再核验</td>
          <td>3D masked transformer + 高 mask ratio，适合研究少样本 HSI 分类迁移。</td>
      </tr>
      <tr>
          <td>HSIMAE: A Unified Masked Autoencoder with Large-scale Pretraining for Hyperspectral Image Classification</td>
          <td style="text-align: right">JSTARS 2024</td>
          <td><a href="https://github.com/Ryan21wy/HSIMAE" target="_blank" rel="noopener noreferrer">GitHub</a></td>
          <td><a href="https://github.com/Ryan21wy/HSIMAE" target="_blank" rel="noopener noreferrer">GitHub</a></td>
          <td>官方结果覆盖 Salinas、Pavia University、Houston 2013、WHU-Hi-LongKou，并报告 5/10/15/20 samples per class。</td>
      </tr>
      <tr>
          <td>HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model</td>
          <td style="text-align: right">TPAMI 2025</td>
          <td><a href="https://arxiv.org/abs/2406.11519" target="_blank" rel="noopener noreferrer">arXiv</a></td>
          <td><a href="https://github.com/WHU-Sigma/HyperSIGMA" target="_blank" rel="noopener noreferrer">GitHub</a>, HyperGlobal-450K</td>
          <td>十亿级 HSI FM，提供 spatial/spectral MAE 权重，覆盖多任务多数据集，是主要迁移基座。</td>
      </tr>
      <tr>
          <td>SpectralEarth: Training Hyperspectral Foundation Models at Scale</td>
          <td style="text-align: right">JSTARS 2025 / arXiv 2024</td>
          <td><a href="https://arxiv.org/abs/2408.08447" target="_blank" rel="noopener noreferrer">arXiv</a></td>
          <td><a href="https://github.com/AABNassim/spectral_earth" target="_blank" rel="noopener noreferrer">GitHub</a>, <a href="https://c.geoservice.dlr.de/web/datasets/enmap_spectralearth" target="_blank" rel="noopener noreferrer">DLR dataset</a></td>
          <td>基于 EnMAP 的全球多时相 HSI 预训练集，带 land-cover、crop-type、tree-species 下游数据，适合研究卫星 HSI 到任务数据迁移。</td>
      </tr>
      <tr>
          <td>HyperFree: A Channel-adaptive and Tuning-free Foundation Model for HSI</td>
          <td style="text-align: right">CVPR 2025</td>
          <td><a href="https://openaccess.thecvf.com/content/CVPR2025/html/Li_HyperFree_A_Channel-adaptive_and_Tuning-free_Foundation_Model_for_Hyperspectral_Remote_CVPR_2025_paper.html" target="_blank" rel="noopener noreferrer">CVF</a></td>
          <td><a href="https://rsidea.whu.edu.cn/hyperfree.htm" target="_blank" rel="noopener noreferrer">Project</a>, <a href="https://huggingface.co/JingtaoLi/HyperFree" target="_blank" rel="noopener noreferrer">HF</a></td>
          <td>0.4-2.5 μm weight dictionary，强调 tuning-free 与变通道适配，是“少/免微调”强基线。</td>
      </tr>
      <tr>
          <td>SpecAware: Spectral-content Aware FM for Multi-sensor HSI Mapping</td>
          <td style="text-align: right">ISPRS JPRS 2026</td>
          <td><a href="https://www.sciencedirect.com/science/article/pii/S0924271626000754" target="_blank" rel="noopener noreferrer">ScienceDirect</a>, <a href="https://arxiv.org/abs/2510.27219" target="_blank" rel="noopener noreferrer">arXiv</a></td>
          <td>GitHub planned</td>
          <td>用 sensor meta-attributes + image semantic features 做统一 embedding，直接对应 cross-sensor transfer。</td>
      </tr>
      <tr>
          <td>Cross-Domain Transfer of Hyperspectral Foundation Models</td>
          <td style="text-align: right">ICPR 2026 / arXiv</td>
          <td><a href="https://arxiv.org/abs/2604.26478" target="_blank" rel="noopener noreferrer">arXiv</a></td>
          <td>未见官方代码</td>
          <td>明确比较 in-domain training、cross-modality transfer 和 cross-domain transfer；为“遥感 HSI FM 迁移到新域”提供研究框架。</td>
      </tr>
      <tr>
          <td>SpectralEarth-FM: Bringing Hyperspectral Imagery into Multimodal EO Pretraining</td>
          <td style="text-align: right">arXiv 2026</td>
          <td><a href="https://arxiv.org/abs/2605.21075" target="_blank" rel="noopener noreferrer">arXiv</a></td>
          <td>待核验</td>
          <td>将 EnMAP/EMIT/DESIS 与 Sentinel-2、Landsat 等共址，对跨模态/跨传感器迁移很关键。</td>
      </tr>
      <tr>
          <td>HyperFM: Efficient HSI FM with Spectral Grouping</td>
          <td style="text-align: right">CVPR 2026 Findings / arXiv</td>
          <td><a href="https://arxiv.org/abs/2604.21127" target="_blank" rel="noopener noreferrer">arXiv</a></td>
          <td>待核验</td>
          <td>面向 PACE-OCI 等长谱段 HSI，突出 spectral grouping 和高效 transfer。</td>
      </tr>
      <tr>
          <td>HyperspectralMAE: Fourier-Encoded Dual-Branch MAE</td>
          <td style="text-align: right">arXiv 2025</td>
          <td><a href="https://arxiv.org/abs/2505.05710" target="_blank" rel="noopener noreferrer">arXiv</a></td>
          <td>待核验</td>
          <td>在 Hyperion/EnMAP 预训练后迁移到 Indian Pines，适合放入“classic benchmark transfer”比较。</td>
      </tr>
  </tbody>
</table>
<h2 id="3-问题由来" class="headerLink">
    <a href="#3-%e9%97%ae%e9%a2%98%e7%94%b1%e6%9d%a5" class="header-mark"></a>3. 问题由来</h2><h3 id="31-经典-hsi-数据集太小容易高估迁移能力" class="headerLink">
    <a href="#31-%e7%bb%8f%e5%85%b8-hsi-%e6%95%b0%e6%8d%ae%e9%9b%86%e5%a4%aa%e5%b0%8f%e5%ae%b9%e6%98%93%e9%ab%98%e4%bc%b0%e8%bf%81%e7%a7%bb%e8%83%bd%e5%8a%9b" class="header-mark"></a>3.1 经典 HSI 数据集太小，容易高估迁移能力</h3><p>Indian Pines、Pavia University、Houston 2013、Salinas 等经典数据集常用于 HSI classification，但它们通常是单场景、单传感器、空间相邻样本强相关。随机抽样时，训练和测试像素可能来自同一地块或相邻区域，模型可以靠局部纹理和空间平滑拿高分。这会掩盖 foundation model 是否真的学到了可迁移谱-空表示。</p>]]></description></item><item><title>RS-32 Spectral Configuration Shift</title><link>https://spacetop.win/2026/06/rs-32-spectral-configuration-shift/</link><pubDate>Sun, 07 Jun 2026 09:31:00 +0800</pubDate><author><name>WangTong</name></author><guid>https://spacetop.win/2026/06/rs-32-spectral-configuration-shift/</guid><description><![CDATA[<h1 id="rs-32-spectral-configuration-shift" class="headerLink">
    <a href="#rs-32-spectral-configuration-shift" class="header-mark"></a>RS-32 Spectral Configuration Shift</h1><h2 id="摘要" class="headerLink">
    <a href="#%e6%91%98%e8%a6%81" class="header-mark"></a>摘要</h2><p>Spectral configuration shift 指训练和测试时的谱段数量、中心波长、带宽、spectral response function、预处理级别或缺失模式不同。它是高光谱/多光谱基础模型落地的硬问题：模型不是只要“能吃很多 band”，而是要知道不同传感器的 band 不是同一个物理观测。2024-2026 的代表路线包括 SpectralGPT、S2MAE、DOFA、HyperSIGMA、HyperFree、Panopticon、SpecAware、LESSViT、Any-Optical-Model 和 SpectralEarth-FM。</p>
<h2 id="问题由来" class="headerLink">
    <a href="#%e9%97%ae%e9%a2%98%e7%94%b1%e6%9d%a5" class="header-mark"></a>问题由来</h2><p>RGB 模型默认通道固定；遥感中 Sentinel-2、Landsat/HLS、Planet、NAIP、EnMAP、PACE、AVIRIS 等传感器的谱段配置差异很大。高光谱数据还会遇到坏 band、噪声 band、不同大气校正链和空间分辨率差异。若模型只记住通道序号，到了未见传感器或缺 band 输入时就会退化。</p>
<h2 id="代表论文与项目" class="headerLink">
    <a href="#%e4%bb%a3%e8%a1%a8%e8%ae%ba%e6%96%87%e4%b8%8e%e9%a1%b9%e7%9b%ae" class="header-mark"></a>代表论文与项目</h2><table>
  <thead>
      <tr>
          <th>工作</th>
          <th style="text-align: right">年份</th>
          <th>链接</th>
          <th>核心机制</th>
      </tr>
  </thead>
  <tbody>
      <tr>
          <td>SpectralGPT</td>
          <td style="text-align: right">2024 TPAMI</td>
          <td><a href="https://arxiv.org/abs/2311.07113" target="_blank" rel="noopener noreferrer">arXiv</a>, <a href="https://github.com/danfenghong/IEEE_TPAMI_SpectralGPT" target="_blank" rel="noopener noreferrer">GitHub</a></td>
          <td>3D token 与多目标重建，强调空间-光谱耦合。</td>
      </tr>
      <tr>
          <td>S2MAE</td>
          <td style="text-align: right">2024 CVPR</td>
          <td><a href="https://openaccess.thecvf.com/content/CVPR2024/papers/Li_S2MAE_A_Spatial-Spectral_Pretraining_Foundation_Model_for_Spectral_Remote_Sensing_CVPR_2024_paper.pdf" target="_blank" rel="noopener noreferrer">CVF PDF</a></td>
          <td>spatial-spectral masked pretraining。</td>
      </tr>
      <tr>
          <td>DOFA</td>
          <td style="text-align: right">2024</td>
          <td><a href="https://arxiv.org/abs/2403.15356" target="_blank" rel="noopener noreferrer">arXiv</a>, <a href="https://github.com/zhu-xlab/DOFA" target="_blank" rel="noopener noreferrer">GitHub</a></td>
          <td>通过 wavelength-conditioned hypernetwork 处理多传感器输入。</td>
      </tr>
      <tr>
          <td>HyperSIGMA</td>
          <td style="text-align: right">2025 TPAMI</td>
          <td><a href="https://whu-sigma.github.io/HyperSIGMA/" target="_blank" rel="noopener noreferrer">Project</a>, <a href="https://github.com/WHU-Sigma/HyperSIGMA" target="_blank" rel="noopener noreferrer">GitHub</a></td>
          <td>大规模高光谱 foundation model，覆盖多任务。</td>
      </tr>
      <tr>
          <td>HyperFree</td>
          <td style="text-align: right">2025 CVPR</td>
          <td><a href="https://openaccess.thecvf.com/content/CVPR2025/html/Li_HyperFree_A_Channel-adaptive_and_Tuning-free_Foundation_Model_for_Hyperspectral_Remote_CVPR_2025_paper.html" target="_blank" rel="noopener noreferrer">CVF</a>, <a href="https://rsidea.whu.edu.cn/hyperfree.htm" target="_blank" rel="noopener noreferrer">Project</a></td>
          <td>channel-adaptive、tuning-free，高光谱变波段输入。</td>
      </tr>
      <tr>
          <td>Panopticon</td>
          <td style="text-align: right">2025 CVPRW</td>
          <td><a href="https://arxiv.org/abs/2503.10845" target="_blank" rel="noopener noreferrer">arXiv</a>, <a href="https://github.com/Panopticon-FM/panopticon" target="_blank" rel="noopener noreferrer">GitHub</a></td>
          <td>wavelength encoding、channel subsampling、channel cross-attention。</td>
      </tr>
      <tr>
          <td>SpecAware</td>
          <td style="text-align: right">2025/2026 ISPRS JPRS</td>
          <td><a href="https://arxiv.org/abs/2510.27219" target="_blank" rel="noopener noreferrer">arXiv</a></td>
          <td>sensor meta-attributes + image content 条件化。</td>
      </tr>
      <tr>
          <td>LESSViT</td>
          <td style="text-align: right">2026</td>
          <td><a href="https://arxiv.org/abs/2605.18541" target="_blank" rel="noopener noreferrer">arXiv</a></td>
          <td>明确针对 spectral configuration shift 的鲁棒 HSI 表征。</td>
      </tr>
      <tr>
          <td>Any-Optical-Model</td>
          <td style="text-align: right">2026 AAAI</td>
          <td><a href="https://ojs.aaai.org/index.php/AAAI/article/download/37583/41545" target="_blank" rel="noopener noreferrer">AAAI PDF</a></td>
          <td>spectrum-independent tokenizer，测试 missing/cross-sensor/cross-resolution。</td>
      </tr>
      <tr>
          <td>SpectralEarth-FM</td>
          <td style="text-align: right">2026</td>
          <td><a href="https://arxiv.org/abs/2605.21075" target="_blank" rel="noopener noreferrer">arXiv</a></td>
          <td>将高光谱带入多模态 EO 预训练。</td>
      </tr>
  </tbody>
</table>
<h2 id="方法比较" class="headerLink">
    <a href="#%e6%96%b9%e6%b3%95%e6%af%94%e8%be%83" class="header-mark"></a>方法比较</h2><ol>
<li>固定通道模型：训练稳定，但无法自然处理未见传感器。</li>
<li>band id / wavelength embedding：简单，但中心波长不足以表示完整 SRF。</li>
<li>hypernetwork tokenizer：由 wavelength 或 sensor metadata 生成输入投影，跨传感器更灵活。</li>
<li>channel cross-attention：将 band 作为 token，让模型学习谱段间关系。</li>
<li>spectral grouping：先按物理连续性或传感器响应分组，降低 HSI token 爆炸。</li>
</ol>
<h2 id="当前问题" class="headerLink">
    <a href="#%e5%bd%93%e5%89%8d%e9%97%ae%e9%a2%98" class="header-mark"></a>当前问题</h2><ul>
<li>很多 benchmark 的 missing band 是人工 mask，不等价于真实传感器缺测。</li>
<li>cross-sensor 测试常同时混入地理区域、季节和空间分辨率差异，因果不干净。</li>
<li>中心波长被过度使用，完整 SRF、带宽和辐射定标很少进入模型。</li>
<li>HSI 数据集小而碎，预训练数据与下游标签分布差异很大。</li>
<li>缺少统一 leave-sensor-out protocol。</li>
</ul>
<h2 id="可执行研究方案" class="headerLink">
    <a href="#%e5%8f%af%e6%89%a7%e8%a1%8c%e7%a0%94%e7%a9%b6%e6%96%b9%e6%a1%88" class="header-mark"></a>可执行研究方案</h2><p>题目：SRF-Aware Evaluation for Spectral Configuration Shift</p>]]></description></item><item><title>RS-31 Band-Adaptive Tokenizer</title><link>https://spacetop.win/2026/06/rs-31-band-adaptive-tokenizer/</link><pubDate>Sun, 07 Jun 2026 09:30:00 +0800</pubDate><author><name>WangTong</name></author><guid>https://spacetop.win/2026/06/rs-31-band-adaptive-tokenizer/</guid><description><![CDATA[<h1 id="rs-31-band-adaptive-tokenizer" class="headerLink">
    <a href="#rs-31-band-adaptive-tokenizer" class="header-mark"></a>RS-31 Band-Adaptive Tokenizer</h1><p>细问题：当输入可能来自 Sentinel-2、Landsat/HLS、NAIP、Planet 或高光谱 cube 时，如何把不同 band 数量、中心波长、带宽、响应函数和空间分辨率映射到统一 token，使同一个遥感基础模型能跨传感器、缺失 band 和未见谱段泛化。</p>
<h2 id="摘要" class="headerLink">
    <a href="#%e6%91%98%e8%a6%81" class="header-mark"></a>摘要</h2><p>Band-adaptive tokenizer 是 2024-2026 遥感 foundation model 里很值得做“小而硬”的方向。它解决的不是“Transformer 怎么更大”，而是更底层的输入表示问题：遥感影像不是自然图像的 RGB 三通道，不同传感器的 band 数、中心波长、带宽、响应函数、GSD 和辐射处理链都不同。如果 patch embedding 固定在某个传感器上，模型在跨传感器、缺失 band、任意波段组合和高光谱输入时就会出现结构性失配。</p>
<p>当前方法大致分成五类：</p>
<ol>
<li>固定多光谱 tokenizer：如 SatMAE++、Prithvi-EO-2.0，更适合固定 HLS/Sentinel-2/Landsat 配置。</li>
<li>波长条件化动态 embedding：如 DOFA、Clay、Panopticon、Any-Optical-Model，把 band identity 或 wavelength 注入 tokenizer。</li>
<li>高光谱变长通道 tokenizer：如 HyperFree、SpectralEarth、LESSViT、SpecAware，关注几十到数百 band 的高光谱 cube。</li>
<li>物理/光谱指数引导 tokenizer：如 PhySwin、SIGMAE，把辐射约束、NDVI/NDWI/NDBI 或 spectral response 作为先验。</li>
<li>跨传感器融合 tokenizer：如 SpectralEarth-FM，把高光谱、多光谱和其他 EO 观测映射到共享层级编码器。</li>
</ol>
<p>我认为最有潜力的小论文切口是：<strong>SRF-aware band-adaptive tokenizer</strong>。现有多数方法只用中心波长或 band id，较少完整使用 spectral response function（SRF）。可以把每个 band 的响应曲线压缩成少量 basis coefficients，再由 hypernetwork 生成通道投影权重，使 tokenizer 同时支持 Sentinel-2/Landsat/HLS/NAIP/Planet/EnMAP，并在 missing-band、leave-sensor-out 和 cross-resolution 设置下评测。</p>]]></description></item></channel></rss>